Элизер Юдковский "СИСТЕМАТИЧЕСКИЕ ОШИБКИ В РАССУЖДЕНИЯХ, ПОТЕНЦИАЛЬНО ВЛИЯЮЩИЕ НА ОЦЕНКУ ГЛОБАЛЬНЫХ РИСКОВ"

Введение

При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные учёные и прочие агенты погибели нуждаются в мире, чтобы достигать в нём своих целей наживы, порядка, владения, или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если земля будет всё-таки уничтожена, то произойдёт это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях, и того, что эти ошибки говорят о предшествующих им ментальных процессах, известно как программа иследований моделей рассуждений и погрешностей в когнитивной психологии.

Эта программа сделала открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках некой субстанции Р, взрывчатого вещества, способного разрушить всю планету, которое взорвётся, если подвергнется досточно сильному радиосигналу.

К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил 30 лет, работая с ней, и знает её лучше, чем любой другой на земле. Вы звоните эксперту и спрашиваете, как силён должен быть радиосигнал, чтобы взорвать вещество. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» - спрашиваете вы. «Можете ли вы мне дать интервал 98 процентной уверенности?» - «Конечно, - отвечает экспрет. – Я на 99 процентов уверен, что критический порог больше 500 тераватт, и на 99 процентов уверен, что он меньше 80.000 тераватт.» «А как насчёт 10 терватт?» – спрашиваете вы. «Невозможно» - отвечает эксперт.

Приведённая выше методология опроса эксперта выглядит совершенно резонной, такой, какой её любой компетентный работник должен делать, когда сталкивается с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов (Rasmussen 1975), ныне считающемся в качестве первой большой попытки вероятностной оценки рисков.

Но исследователь моделей рассуждений и погрешностей может распознать по крайней мере два больших недостатка в этом методе, - не логических слабых места, а обстоятельства, чрезвычайно уязвимых к человеческой ошибке.

(Сноска: Я благодарю Michael Roy Ames, Nick Bostrom, Milan Cirkovic, Olie Lamb, Tamas Martinec, Robin Lee Powell, Christian Rovner, и Michael Wilson за их комментарии, предложения и критику. Нет необходимости говорить, что все отсавшиеся ошибки в этой работе – мои.)

Иследования моделей рассуждений и погрешностей открыли результаты, которые могут напугать и привести в уныние неподготовленного учёного. Некоторые читатели, впервые встречающие экспериментальные результаты, цитруемые здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предполагают? Может быть, эксперименты были плохо организованы, и результаты уйдут, если сделать такие-то и такие-то манипуляции?» Не имея досточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные манипуляции уже испробывались, и результаты были устойчивыми.

1. Доступность информации

Предположим, вы возьмёте случайное слово из трёх или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?

Основная идея исследований моделей рассуждений и погрешностей состоит в том, что человеческие существа используют методы мышления – эвристику – которые дают хорошие средние ответы в большинстве случаев, но это так же приводит к увеличению системных ошибок, называемых погрешностями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть лёгкости, с которой примеры этого события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на букву R. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. (Tversky and Kahneman 1973.)

Погрешности, основанные на эвристике доступности, влияют на оценки риска.

Пионерское исследование Lichtenstein (1978) описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – только немного смертей. Однако, когда их просят посчитать риски точнее, люди сильно переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных причин смерти.
Другие повторяющиеся ошибки тоже были очевидными: аварии считались причиняющими столько же смертей, сколько болезни (на самом деле болезни причиняют в 16 раз больше смертей, чем аварии). Убийство неверно считалось как более частая причина смерти, чем диабет или рак желудка.

Последующее исследование Combs and Slovic (1979) провело подсчёт сообщений о смерти в двух газетах и обнаружило высокую корреляцию между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Люди отказываются покупать страховку от наводнений, даже если она мощно субсидируется и оценена гораздо ниже своей справедливой цены. Kunreuther (1993) предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивидов представить себе наводнение, которое никогда не случалось. Люди на затапливаемых равнинах выглядят как пленники своего опыта.

Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены. Burton (1978) сообщает, что когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создают фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводения настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков. Общество, хорошо защищённое против малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. (Строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены). Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы размеров возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших наводнений).

Риск человеческого истребления может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием. (2)

Сноска 2: Milan Cirkovic указывает на то, что сверхизвержение вулкана Toba (73 000 лет до Р.Х.) может считаться как событие, едва не приведшее к истреблению людей. Взрыв и последующая зима убила большую часть человечества; генетические свидетельства предполагают, что было только несколько тысяч выживших, или даже меньше. (Ambrose 1998.) Отметьте, что это событие отсуствует в нашей исторической памяти – оно предшествует возникновению письменности.

2. Интеллектуальная ошибка, связанная со знанием «задним числом». (Hindsight bias)

Интеллектуальная ошибка, связанная со знанием «задним числом» происходит, когда субъект, узнав окончательный итог, даёт гораздо большую оценку предсказуемости этого итога, чем субъекты, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-всё-это-время-чувствовал-что-так-оно-и-есть».

Fischhoff и Beyth (1975) представили студентам исторические отчёты о малоизвестных событиях, таких, как конфликт между гурками и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, что бы они предсказали в качестве степени достоверности для каждого из четырёх итогов: победа англичан, победа гурков, патовая ситуация с мирным соглашением или пат без соглашения. Четырём экспериментальным группам было соотвественно сообщено, что четыре возможных итога были в действительности историческими итогами. А пятой, котрольной группе не было сообщено никакого исторического итога. В каждом случае группа приписала сообщённому ей итогу гораздо большую достоверность, чем любая другая группа или контрольная группа.

Эффект знания задним числом важен в суде, где судья или присяжные должны определить, действительно ли обвиняемый имел законные основания быть неспособным предсказать опасность. (Sanchiro 2003).
В эксперименте, основанном на реальном деле, Kamin and Rachlinski (1995) попросили две группы оценить вероятность ущерба от наводнения, причинённый закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда он решил не нанимать мостового смотрителя.

Экспериментальной группе была дана эта же информация, плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57% экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и ещё ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56% заключили, что город был преступно халатен. Судьи не могут просто инструктировать присяжных, чтобы избежать эффекта знания задним числом: меры против эффекта предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем стоимость предотвращения катастрофы. В 1986 году шаттл Челенджер взорвался по причинам, которые, в конце концов, были определены, как связанные с тем, что кольцевой уплотнитель потерял гибкость при низкой температуре (Rogers, 1986). Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотворащение катастрофы Челенджера должно было потребовать не только уделение внимания проблемам с кольцевым уплотнителем, но и озабоченности каждым предупреждающим сигналом, который бы казался столь же серьёзным, как проблема уплотнителей, без преимущества последующего знания.

3. Чёрные лебеди. (Black Swans).

Taleb (2005) предположил, что ошибки последующего знания и доступности несут первостепенную отвественность за нашу неспособность защититься от того, что Taleb назвал Чёрными Лебедями. Чёрные лебеди являются особенно трудной версией проблемы мощных последствий: иногда большая часть вариативности процесса происходит из исключительно редких, исключительно больших событий. Предствать себе финансовый инструмент, который зарабатывает $10 с 98% вероятностью, но теряет $1000 с 2% вероятностью. В конечном счёте расход перевешивает доход, но инструмент выглядит как устойчиво выиграшный. Taleb (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принося около $80 миллионов – и затем он потерял $300 миллионов в одной катастрофе.

Другим примером является Long-Term Capital Management, хедж-фонд, в чьи основатели входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецендентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по $100 миллионов в день, день за днём. В один день в 1998 году он потерял более $500 миллионов. (Taleb, 2005)

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным оклонением в десять дельта. Но очевидно, что оно не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди заключили, что будущее тоже предсказуемо. Как пишет Fischhoff (1982):

«Когда мы пытаемся понять прошлые события, мы косвеным образом проверяем гипотезы или правила, которые мы используем, чтобы интрпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые прошлое имело и имеет для нас, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находят никаких оснований для их изменений.»

Урок истории состоит в том, что такие неприятности, как чёрные лебеди, случаются. Люди бывают удивлены катастрофам, которых они не ожидали, которые лежат за пределами их исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда Чёрные Лебеди случаются? Почему LTCM заняло $125 миллиардов под $4.72 миллиарда собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило ножи для разрезания бумаги на самолётах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъярённым жертвам считать случившееся результатом халатности – такой, как неспособность разведывательных агенств различить предупреждения об активности Аль-Каеды среди тысяч других предупреждений. Мы научились не позволять захваченным самолётам летать над нашими городами. Но мы не выучили урок: «Чёрные Лебеди случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Taleb (2005) пишет: Трудно мотивировать людей предотвращать «Чёрных Лебедей»... Защита с трудом воспринимается, измеряется и вознаграждается; это обычно тихое и неблагодарное занятие. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма». В исторических книгах не пишут о героических превентивных мерах.

4. Ошибки в ситуациях с «логическим И». (The conjunction fallacy.)

Линде 31 год, она холостая, искреняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студент, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их дстоверности.

Линда – учитель в начальной школе.
Линда работает в книжном магазине и занимается йогой.
Линда – актвистка феминистского движения
Линда – социальный работник в области психиатрии
Линда – член общества женщин, имеющих право голоса.
Линда – кассир в банке
Линда – страховой агент
Линда – кассир в банке и актвистка феминистского движения

89% из 88 студентов посчитали пукт (8) как более веротяный, чем пункт (6). (Tversky и Kahneman 1982.) Поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, (8) в большей мере характерно для описания Линды. Однако, ставя (8) как более вероятное, чем (6), мы нарушаем закон суммирования вероятностей, который утверждает, что p(A p(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин - банковских кассиров, чем женщин-феминсток и одновременно банковских кассиров.

Может быть, ошибка от логического И связана с субъектами, воспринимающими экспериментальные инструкции неправильно? Быть может, субъекты полагали, что под словом «достоверно» имеется в виду достоверность описания Линды данными утверждениями (6) и (8), а не достоверность (6) и (8) в отношении описания Линды? Или возможно субъекты интерпретировали (6) как означающее «Линда - кассир и не феминисткая активистка»?
Хотя много интересных альтернативных гипотез было предложенно чтобы объяснить склонность к этой логической ошибке, она пережила все экспериментальные попытки её опровергнуть (см. обзор Sides 2002.)

Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше.

Представьте себе правильный 6-сторонний кубик с 4 зелёными сторонами и 2 красными. Кубик будет брошен 20 раз и последовательность выпадения зелёных (G) и красных (R) сторон будет записана. Вы должны выбрать одну последовательность из трёх предложенных, и вы выиграйте $25, если выбранная вами последовательность выпадет в серии бросков кубика. Вот эти три последовательности, выберите одну из них.

RGRRR
GRGRRR
GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65% из них выбрали последовательность (2). (Tversky and Kahneman 1983.) Последовательность (2) наиболее типична (representative) для игральной кости, поскольку кость большей частью зелёная и последовательность (2) содержит наибольшую пропорцию зелёных сторон. Однако, последовательность (1) превосходит последовательность (2), поскольку (1) полностью входит в (2). Чтобы получилось (2), у вас должна выпасть последовательность (1) и зелёная грань кости перед ней.

В приведённой выше задаче студенты могли вычислить точные вероятности каждого события. Однако вмето того, чтобы тратить время на арифметические вычисления, 65% студентов, по видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когды мы называвем это умозаключением по типичности, мы не настаиваем на том, что студенты нарочно решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создаёт интуитивное чувство, что последовательность (2) более вероятна, чем последовательность (1). Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаём подмены суждением о типичности суждения о достоверности.

Ошибки в ситуациях с «логическим И» подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на Втором Межународном Конгрессе по Предвидению будущего были опрошены, соотвественно, о вероятности «Полного разврыва дипломатических отношений между СССР и США в 1983 году» и «Русского вторжения в Польшу, и последующего полного разврыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. (Tversky and Kahneman 1983.)

В исследовании Johnson (1993), группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелёт из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелёт туда-обратно. А третьюю - о страховке, которая бы покрывала всё путешествие. Эти три группы окзались в среднем готовы заплатить $17.19, $13.90, и $7.44 соотвественно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, покольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий угрозы выглядит менее зрелищным и побуждающим, но технологическая защита будет более полезной по причине своей многосторонности (vague). Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жёсткой зацикленности только на нанотехнологических угрозах, - такие, как колонизация космического пространства или искусственый интеллект (см. работы автора на эту тему). Bruce Schneier заметил (и до, и после урагана 2005 года в Новом Орлеане), что правительство Соединённых Штатов защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев, ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации. (Schneier 2005.)

Сверхдетальные заверения также могут создать ложное ощущение безопасности «Х не является риском существованию, и вы не должны заботиться о нём, потому что A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьёт эту технологию и предотвратит её распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамереных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда.» Яркие, чётко определённые сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учётом излишне суженных или невероятно детализованных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. (Tversky and Kahneman 1974.) То есть людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 процентов каждое, все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10 процентов, таки случится. Некто, оценивающий, стоит ли, например, открыть новую компнию, должен вычислить вероятность того, что в множестве отдельных событий они все вместе произойдут нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть товар), учитывая также вероятность того, что по крайней мере одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий учёный умрёт). Это может объяснить, почему только 44% предприятий (3) выживают в течение 4 лет(Knaup 2005.)

Ссылка 3: отметьте, что показатель 44% относится ко всем видам бизнеса, включая маленькие рестораны, а не только к, допустим, дот-ком стартапам.

Dawes (1988): адвокаты в своих речах предпочитают избегать выводов, основанных на истинности по крайней мере одной из нескольких посылок («либо одно, либо другое, либо третьее должно было случится и каждый из этих вариантов приводит к одому и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. С рациональной точки зрения первые случаи гораздо более вероятны, чем вторые.

Истребление человечества в следующем столетии может произойти в случае истинности хотя бы одной из многих причин. Оно может случится по причине любого риска выживанию, обсуждённого в этой книге, или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов, описания в духе «или то, или другое, или третьее» неудобны и пророчества, с помощью них сформулированные, звучат непоэтично.

5. Ошибочность рассуждений, вызванная эффектом подтверждения. (Confirmation bias).

В 1960 году Peter Wason провёл ныне классический эксперимент, известный как задача '2-4-6' (Wason, 1960.) Испытуемые должны были обнаружить правило, известное экспериментатору, но не самому испытуемому – так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как '2-4-6' или '10-12-14' на карточках, и экспериментатор говорил, соотвествует ли тройка чисел правилу или нет. Изначально субъектам была выдана тройка чисел 2-4-6 и сказано, что она соответсвует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемые объявляли правило.

Хотя испытуемые обычно выражали высокую уверенность в своих догадках, только 21 процент из них в эксперименте Wason правильно угадали правило, и при повторениях этого эксперимента уровень успеха обычно составлял 20 процентов. Вопреки совету Карла Поппера, испытуемые в задачу Уосона пытались подтвердить свои гипотезы, а не их опровергнуть. Таким образом, те, кто сформулировали гипотезу «Номера увеличиваются каждый раз на два» проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях истинное правило было одно и тоже: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительные.

Задача Уосона 2-4-6 является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача 2-4-6 является аффективно нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений.

Неудивительно, что «горячая» ошибочность сильнее – больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивировнным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Brenner (2002) в «Заметках к теории одобрения»:

Очевидно, что во многих обстоятельствах желаемость уверенности в гипотезе может заметно повлиять на воспринимаемую степень её подтверждения... Kunda (1990) обсуждает, как люди, нацеленные на то, чтобы достичь определённых выводов, пытаются сконструировать (в ошибочной маннере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Gilovich (2000) предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью заставляло придти к данному выводу, а во втором – спрашивает, позволяет ли некоторое свидетельство придти к данному выводу.

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые её подтверждают, это называется мотивированный скептицизм или интеллектуальная ошибка несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях – обе стороны выборочно принимают только привлектальные для них свидетельства. Накопление большего числа свидетельств не приведёт этих спорщиков к согласию. Во вторых, люди, которые являются более опытными скептиками – которые знают больший набор логических нестыковок – но применяют этот навык избирательно, могут изменять свою точку зрения гораздо медленее, чем неопытные спорщики.

Taber and Lodge (2000) исследовали изначальное отношение и изменение отношения у студентов, под воздействием прочтения политической литературы за и против конроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:

Эффект изначального отношения. (Prior attitude effect.) Испытуемые, имевшие изначальную точку зрения на проблему, - даже когда их поощряли в том, чтобы они были объективными, - находили поддерживающие аргументы более охотно, чем опровергающие.
Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, очерняя опровергающие аргументы, чем поддерживающие.
Систематичекая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
Поляризация отношения. Предъявление субъектам очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
Эффект силы мнения (Attitude strength effect). Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.
Эффект усложнения. (Sophistication effect) Более искушённые в политике испытуемые, по причине обладания более тяжёлым воружением для опровержения противных фактов и доводов, были более подвержены вышеприведённым систематическим ошибкам.

Забавно, что эксперименты Taber and Lodge подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают верования, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас ещё одной систематической ошибке, в которой можно обвинить людей, - я в действительности навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам ещё один шанс всякий раз терпеть неудачу, когда вы сталиваетесь с возможностью изменить свой стиль мышления.

Модели рассуждения и систематические ошибки широко рапространены в человеческих размышлениях. Их знание позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться обоюдосторонне: как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться – это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько серьёзно я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.

Нельзя рационализировать то, что не рационально с самого начала – как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации – можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши верования более истинными, мы должны изменить сами верования. Не каждое изменение – это улучшение, но каждое улучшение – это изменение по определению.

Наши верования гораздо более подвижны, чем мы привыкли думать. Griffin and Tversky (1992) осторожно опросили 24 своих коллег на тему выбора между двумя предложениями по работе и попросили их оценить вероятность того, что они его выберут, для каждого из предложений. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66 процентов. Но только один из 24 опрошенных выбрал в конечном счёт вариант, которому он приписал в начале более низкую вероятность, увеличив общую точность предсказания до 96 процентов. (Это – один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)

Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ – как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, - вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что вы обычно догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведенно, чтобы на самом деле подумать – как в вопросах выбора, так и в вопросах установления фактов.

Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом.»

Норман Майер (Norman R. F. Maier): «Не предлагайте решения, до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».

Робин Доуз (Robyn Dawes), комментриуя Майера: «Я часто предлагал это правило на группах, которые я вёл, в частности, когда они сталкивались с особенно трудной проблемой – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».

В компьютерной безопасности «система, которой доверяют» (trusted system) - это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» - это система, которая, будучи скомпрометированной (untrustworthy), способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определённую годовую вероятность, или может быть преодолена с использованием определённой стратегии, - вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более усиленно ошибок в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.

И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобальные риски, следует иметь общие представления о человеческих моделях рассуждений и систематических ошибках при рассуждениях, и об ошибке неподтверждения в частности.

6. Якорение, настройка и наложение. (Anchoring, adjustment, and contamination)

Экспериментатор крутит у вас на глазах рулетку, и она указывает на, в первом случае, 65, а во втором – на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН.

Tversky и Kahneman (1974) продемонстировали, что испытуемые, которых в начале попросили оценить, находится ли искомое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором – 45 процентов. Это поисходило несмотря на то, что испытуемые видели, что номера генерируются очевидно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интесивность этого эффекта. Tversky and Kahneman предположили, что этот эффект вызван якорением и настройкой; испытуемые принимали изначальное неинформативное число за точку отсчёта, или якорь, и затем увеличивали или уменьшали это число, до тех пор, пока не достигали результата, который выглядил убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.

В примере в начале статьи мы вначале попросили эксперта по субстанции P предположить точное значение силы радиосигнала, который приведёт к взрыву субстанции P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.

После статьи Tversky и Kahneman 1974 года стало накапливаться всё больше свидетельств всё более широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939. (Strack and Mussweiler 1997.)
Допустим, вы идёте по супермаркету и видете стойку с банками консерваированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Соглсано экспериментальным данным, заставляет. (Wansink et. al. 1998.)

Более общая форма этого феномена стала известна как эффект наложения (contamination effect), поскольку оказалось, что почти любая информация может повлиять на интеллектуальное суждение. (Chapman and Johnson 2002.) Предпринимались попытки ослабить эффект наложения путём выплаты испытуемым вознаграждения за правильные ответы (Tversky and Kahneman 1974), инструктирования испытуемых о необходимости избежать якорения изначальным показателем (Quattrone et. al. 1981) или же обращения испытуемых к проблемам реального мира (Wansink et. al. 1998). Эти действия не уменьшили, или уменьшили только в незначительной степени, интенсивность эффектов якорения и наложения. Более того, субъекты, спрошенные о том, были ли они подвергнуты действию эффекта наложения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. (Wilson et. al. 1996.)

Действия, существенно увеличивающие эффект наложения – это действия, помещающие субъектов в интеллектуально трудные условия, такие как непрерывное прослушивание последовательности слов в процессе работы (Gilbert et. al. 1988), или требование от субъектов быстрых ответов (Gilbert and Osborne 1989). Gilbert et. al. (1988) связывает это с тем, что дополнительная задача влияет на способность отстроиться (adjust away) от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.

Суммируя: явно нерелевантная информация по-прежнему якорит суждения и накладывается на догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят подстройку, пока не достигают убедительно звучащего ответа, они обычно недооценивают. Люди недооценивают в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьёзной. Люди отрицают, что были заякоренны и неооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются, или ослабляются незначительно, при финансовом вознаграждении, явных инструкциях избежть наложения и в ситуациях из реальной жизни.

А теперь вспомните, сколько историй из лент новостей об Искусственном Интеллекте ссылаются на фильмы о «Терминаторе», как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают Борга из «Стар Трека». Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? Во времена предков не было фильмов – всё, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в рассчёт, что фантастика есть фантастика. Журналистские упоминания о Терминаторе обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортёр как будто бы считает видения Камерона в качстве чего-то, уже однажды имевшего место в прошлом и вполне могущего случиться опять – фильм вспоминается (информационно доступен) как если бы был иллюстрирующим историческим случаем. Я называю эту смесь якорения и доступности для восприятия – логической ошибкой генерализации на основании художественного вымысла.

(Похожей концепцией является систематическая ошибка «хорошей истории», предложенная Bostrom (2001). Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все хорошие истории представлены в литературе.)

Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика – это не логика. Вдохновлённые писатели знают, что правда - не извинение: нельзя заставить поверить в невероятное событие из вашего произведения путём цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; расказчик историй должен быть конкретным, твёрдым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда – это тяжёлая работа, и не для расказчиков историй. Мы должны избегать не только одурачевания фантастикой, в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, - но так же того, чтобы фантастика наложилась на наше мышление и стала точкой отсчёта для наших суждений. И мы должны осознавать, что мы не всегда осознаём это наложение. Отнюдь не необыкновенны в дискуссиях о глобальных рисках категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают изысканные поражения, но это – откровенная сдача.

7. Рассуждения, обусловленные аффектом. (The affect heuristic.)

Рассуждения, обусловленные аффектом, возникают, когда субъективные представления о хорошем и плохом выступают в качестве метода рассуждений и способны порождать быстрые, основанные на непосредственном восприятии, суждения, а также систематические ошибки.

В исследовании Slovic (2002) две группы испытуемых рассматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98% от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85% от 150 жизней» имело большую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» звучит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98% чего-нибудь это очень хорошо, потому что это очень близко к верхней гранце процентной шкалы.

Finucane (2000) исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как ядерная энергетика, со своими оценка возможных рисков, в едином хорошем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым 4 разных сообщения, которые должны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи предоставленной информацией (о рисках) и независимой переменной (то есть о преимуществах). В каждом случае изменяемая информация оказывала противоположный эффект на эмоционально противоположную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ.
Информация, которая ослабляла восприятие преимуществ, увеличивала восприятие рисков. Finucane обнаружил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами, - предположительно, потому что эта нехватка усиливает преобладание эмоциональных моделей рассуждений над аналитическим анализом.

Ganzach (2001) обнаружил тот же эффект в царстве финансов: аналитики делают прогнозы рисков и доходов незнакомых активов на оснвании в целом эмоционального отношения. Акции, воспринимавшиеся как «хорошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие высокий доход и низкий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соотвествии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций, воспринимаемый риск и воспринимаемый доход имели позитивную корреляцию, как и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность и они являются более дорогими, что уменьшает ожидаемый доход.)

Люди обычно имеют недостаточную информацию о будущих технологиях. Поэтому неудивительно, что их отношение эмоционально поляризовано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственый интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соотвественно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

8. Пренебрежение масштабом (Scope neglect).

(2,000 / 20,000 / 200,000) перелётных птиц тонут каждый год в незакрытых нефтехранилищах, которые птицы по ошибке принимают за пруды с водой. Эти смерти могут быть предотвращены путём накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установку таких сетей?

Три группы испытуемых, рассматривавших этот вопрос, были спрошены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2.000, 20.000 ил 200.000 птиц. Ответ, названный Установленная Готовность Платить (УГП) – был в среднем $80 за 2.000 птиц, $78 за 20.000 и $88 за 200.000 птиц. (Desvousges 1993.) Этот феномен известен как нечувствительность к масштабу или пренебрежение масштабом.

Подобные исследовании показали, что жители Торонто готовы заплатить только немногим больше, чтобы очистить все озёра Онтарио, чем чтобы очистить загрязённые озёра только части штата (Kahneman 1986); и что жители четырёх западных штатов в США готовы заплатить только на 28% больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. (McFadden и Leonard, 1995).

Наиболее широко распространённое объяснение эффекта пренебрежения масштабом апеллирует к эмоциональной логике. Kahneman (1999) пишет:

«История о птицах из опытов Desvouges, вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно, образ истощённой птицы с намоченными чёрной нефтью крыльями, неспособной спастись. Гипотеза об оценке по первоначальному образу утверждает, что эмоциональное влияние этого образа будет доминировать над отношением к проблеме, - включая готовность платить за решение. Оценка по первоначальному образу автоматически означает пренебрежение к остальным деталям ситуации».

Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения (Kahneman и Knetsch, 1992) и пожертвование монетки ради доброго дела (Harrison, 1992). Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объём денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определённую сумму «на экологию» и любой вопрос о проблемах окружающей среды просто проявляет это количество.

Пренебрежение масштабом было продемонстрировано и по отношению к человеческим жизням. Carson and Mitchell (1995) сообщают, что информации об увеличении риска, связанного с питьём хлорированной воды с 0.004 до 2.43 на 1000 смертей в год (то есть в 600 раз) увеличивает индекс готовности платить с $3.78 до $15.23 (то есть 4 раза). Baron and Greene (1996) обнаружили, что изменение числа спасённых жизней в 10 раз, не оказывает никакого эффекта на этот индекс.

Fetherstonhaugh (1997), в статье, озаглавленной «Нечувствительность к ценности человеческой жизни: исследование психологического восприятия чисел», обнаружил свидетельства того, что наше восприятие человеческих смертей и ощущение ценности человеческих жизней следует закону Вебера – это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения Готовности-платить соответствующие экспоненциальным изменениям масштаба. Kahneman (1999) интерпретирует это, как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ – первоначальный образ вызывает большую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.

Albert Szent-Gyrgyi говорит: «На меня производят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстранённо о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов.» Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг неспособен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в 1000 раз более сильную, чем горе на похоронах. Увеличение возможного риска с 10.000.000 смертей до 100.000.000 не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление ещё одного нолика на бумагу у нас перед глазами, что имеет столь не большой эффект, что обычно необходимо перейти на несколько порядков величины, чтобы заметить разницу экспериментально.

9. Калибровка и сверхуверенность. (Calibration and overconfidence).

Насколько люди уверены в своих ошибочных оценках? В первой секции этой статьи, посвящённой эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые переоценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в газетах. Slovic (1982) также отмечает:

Одним из пагубных аспектов моделей рассуждений является то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом обзоре исследований по поводу причин смерти, людей просили сделать ставки на то, что они правы в своём выборе более частой среди двух причин смерти. (Fischoff, Slovic, и Lichtenstein, 1977). В эксперименте N1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть процент правильных ответов был близок к значению, даваемому этими ставками. Однако, по мере увеличения ставок от 3:1 к 100:1 почти никакого прироста точности не происходило. Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1.000.000:1, точность составляла 90%, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1. Почти четверть – более, чем 100:1. 30% респондентов в эксперименте N1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства.

Этот кажущийся удивительным результат вполне обычен в литературе, посвящённой моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated) , то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.

Другая группа из 35 испытуемых была попрошена оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.

Говоря словами Alpert и Raiffa (1982): «Ради Бога, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!»

Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».

Newby-Clark et. al. (2000) обнаружили, что опросы испытуемых об их предсказаниях, основанных на реалистичной «наилучшей догадке», и опросы испытуемых о их надеждах в самом лучшем случае давали неразличимые результаты. Будучи спрошены о наиболее вероятном стечении обстоятельств, люди имели тенденцию предполагать, что всё пойдёт так, как планировалось, без неожиданных задержек и непредвиденных катастроф: то есть так же, как в наилучшем случае. Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай.

В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая – систематической ошибки неподтверждения. Знание об эффекте калибровке – это опасное знание – поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чём они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых верований. В противном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем если бы вы никогда не слышали о калибровке. По этой причине – часто несмотря на значительное искушение – я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, с тем, что я могу сделать такое же предупреждение.

Отметьте так же, что оценка эксперта, сильно уверенного в своём мнении, принципиально отличается от вычислений, сделанных исключительно на основе статистических данных, или исключительно на основе от адекватной, точно подтверждённой модели. Во всех случаях, когда эксперт утверждает, даже на
основании точных вычислений, что событие имеет вероятность 10-6, , он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10-8 шанс выиграть, то продавцы билетов бы разорились.

10. Апатия прохожего. (Bystander apathy).

Последняя рассматриваемая мной систематическая ошибка относится не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Latane и Darley (1969) открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реагировать на чрезвычайные ситуации – не только индивидуально, но и коллективно. 75% испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое, не знающих об условиях опыта испытуемых, о дыме сообщают только в 38% случаев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реагирующих на дым, выходит, чтобы сообщить о дыме только в 10% случаев. Студент колледжа, изображавший эпилептический припадок, получил помощь от единственного свидетеля в 85% случаев и только в 31% случаев в присутствии пятерых свидетелей.

Эффект прохожего обычно объясняется как происходящий из рассеяния ответственности (diffusion of responsibility) и игнорирования из-за неопределённости ситуации (pluralistic ignorance). Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберётся с проблемой вместо них, и это ослабляет личную напряжённость каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испытуемые верили, что жертва особенно зависит от них: это ослабляло или полностью устраняло эффект равнодушия прохожего.

Cialdini (2001) рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи – таким образом преодолевая рассеяние ответственности.

Игнорирование из-за неопределённости ситуации является более тонким эффектом. Cialdini (2001) пишет:

«Часто чрезвычайная ситуация далеко не очевидна. Является ли человек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределённости естественным поведением является посмотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуацией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпочитаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит каждого скорее всего спокойным и ничего не делающим».

Эффект прохожего не связан с индивидуальным эгоизмом или нечувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределённости ситуации может объяснить, в отличие от индивидуального эгоизма, почему субъекты не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность как для других, так и для себя, испытуемые часто бросали взгляды на нереагировавших подсадных уток.

Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много возможных ответов, части которых я коснулся здесь. Люди могут быть сверхуверены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счёт этого недооценивать сюрпризы будущего. Они могут не осознавать трудности подготовки к чрезвычайным ситуациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о преимуществах некой технологии с негативной информацией о её риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасён. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно неприятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивного поиска причин, по которым это может произойти.

Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что люди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли ещё кто-нибудь, реагирующий на опасность, и одновременно стараются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение.

Любая достоверная идея, которая вас раздражает, по-видимому, задевает в вас модель хотя бы одной психологической ошибки.

Robert Pirsig сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная её, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалипсический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Garreau (2005), по-видимому, утверждает, что сценарий постепенного усиления искусственного ума является более зрелым и обдуманным (sophisticated), чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объём психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке наложения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность.
Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о психологических систематических ошибках, чем не знать их. В противном случае мы попадём прямо во вращающиеся вертолётные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в систематических ошибках мышления. Таким путём вы станете профессиональным спорщиком – тем, кто, встретив любой не нравящийся ему аргумент, находит в нём систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере – это вы сами.

Jerry Cleaver сказал: «То, что вас побеждает – это не ошибка в применении высокоуровневой, сложной, навороченной техники. Это – упускание из виду чего-то основного. Не следить за мячом, например».

Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение.

Почему должен быть единый подход в мышлении о глобальных рисках? Падающие астероиды не похожи на сконструированных супервирусов; физические катастрофы – на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?

Если кто-то предполагает физическую катастрофу, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты кончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» - Ферми считал эту перспективу столь отдалённой, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание в Кастель Браво вызвало взрыв в 15 мегатонн, вместо 4-8, по причине не учтённой реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате по крайней мере один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более, чем 40 миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что термин «глобальный риск» означает; должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот учёный должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединён в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90 процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией.
Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхувернности – обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к изданию «Суждения в условиях неопределённости».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного – возможно, недостаточно – об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать.

Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему, вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна. Он ответил: но если вы действительно понимаете физику, вы можете объяснить её своей бабушке, как сказал Ричард Фейман. И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физику сложна, но он никогда не отдавал отчёта себе, что физика так же сложна, как юриспруденция.

Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает своё мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствии превосходными. Таким образом, рекрутёр имеет высокую оценку своих способностей. Но рекрутрёр никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько предубеждений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, - объёмного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении (need for closure), я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше. Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку (Kachelmeier and Shehata (1992) предлагали жителям КНР эквивалент трёхмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно – они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого всё равно будут неспособны сделать лучше. (Это может усилить их потребность в завершённости дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идёт о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп испанка в 1918 году убил 25-50 миллионов человек. Вторая мировая война убила 60 миллионов. 107 – таков порядок крупнейших катастроф в человеческой письменной истории. Значительно бОльшие числа, такие как 500 миллионов смертей, и особенно качественно другие сценарии, по-видимому, запускают другой режим мышления – оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребёнку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий – что называется «непродолженным» мышлением (non-extensional reasoning). Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников.
И даже люди, которые бы яростно протестовали предложениям вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, - которые бы очень боялись услышать, что доктор скажет им, что у их ребёнка рак, - эти люди будут обсуждать истребление человечества с абсолютным спокойствием. «Истребление человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, - относятся к другому контексту, чем грипп Испанка. Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не плохи, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории – это только вопрос личного вкуса по отношению к историям.

Но это только моё частное наблюдение. Я бы предпочёл, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе – в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной(литературы, посвящённой психологии глобальных рисков. А она должна быть.

В математическом представлении Байесовой теории решений имеется концепция ценности информации (information value) – ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чём эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом – ценность вычислений, охватывающих некие данные, определяется на основе самих данных. (Good 1952; Horvitz et. al. 1989.)

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Albert Szent-Gyrgyi способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом – естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на 6 миллиардов. Но ставки глобальных рисков простираются далеко за пределы 6 миллиардов людей, живущих сейчас – они простираются ко всем звёздам и ко всем галактикам, которые люди и их потомки могут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества – это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Всё, что я могу – это защищать его.

Рекомендуемое чтение:

«Суждение в условиях неопределённости: эвристика и систематические ошибки». Judgment under uncertainty: Heuristics and biases. (1982.) Edited by Daniel Kahneman, Paul Slovic, and Amos Tversky. Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание даёт обобщённое, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.
«Выборы, ценности и рамки». Choices, Values, and Frames. (2000.) Edited by Daniel Kahneman and Amos Tversky. «Эвристика и систематические модели мышления». Heuristics and Biases. (2003.) Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman. Эти два сборника статей дают обзор современного состояния науки об эвристики и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.
«Рациональный выбор в неопределённом мире: психология интуитивного суждения». Rational Choice in an Uncertain World: The Psychology of Intuitive Judgment by Robyn Dawes. First edition 1988 by Dawes and Kagan, second edition 2001 by Dawes and Hastie. Эта книга предназначена, чтобы ввести в тему систематических ошибок мышления широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.