Из прочитанного: Superforecasting

В 2010 г. исследовательское крыло разведки США IARPA решило проверить тезис о “мудрости масс“, объявив конкурс на исследовательские гранты. В 2011  г. онлайн-проект The Good Judgement Project, запущенный профессором университета Пенсильвании (и бизнес-школы Уартона) Филипом Тетлоком, получает грант IARPA и по сегодняшний день продолжает привлекать энтузиастов, считающих что они способны предсказать будущее лучше остальных. В процессе работы над проектом Тетлок подметил, что ряд участников проекта демонстрирует показатели весьма и весьма выше среднего. Он окрестил их супер-предсказателями, и эта книга обобщает методы работы, используемые супер-прогнозистами.

Как оценивают пресказателей? Качество прогнозов определяется по шкале Брайера, где 0 является идеалом, а 1 – полным провалом. Т.е. если человек предсказал дождь во второй половине дня, и дождь действительно пошел, прогноз получает 0. Если никаких осадков не было, прогноз получает “кол”. Любые баллы по шкале Брайера – это штраф за неверный прогноз, и чем выше среднее арифметическое прогнозов от одного автора, тем чаще он ошибается (хотя люди, умудрившиеся заработать 1, т.е. всегда дать абсолютно неверный прогноз, тоже полезны по очевидным причинам).

Прогнозы, впрочем, даже в случае погоды редко являются бинарными. Если человек утверждает, что вероятность осадков составляет 70%, и дождь действительно начинается, штраф за 30% анти-прогноза составляет квадрат разницы, т.е. (1 – 0.7)² = 0.09. Если же дождя так и не было, то разница составляет (1 – 0.3)² = 0.49. Несмотря на то, что прогноз в 70% отличается от анти-прогноза в 30% в два с копейками раз, штраф за явно неверный прогноз почти в шесть раз превышает штраф анти-прогноза.

В течение некоторого времени IARPA отсылала вопросы, связанные с национальной безопасностью, в Good Judgement Project, попутно работая над аналогичным опросом внутри американской разведки. Среднее арифметическое проекта GJP составило 0.37, среднее арифметическое сотрудников разведки составило 0.33 (здесь можно бы опровергнуть тезис о мудрости масс, но стоит помнить, что аналитики разведслужб имели доступ к большему количеству отфильтрованной и аккуратно категоризированной информации, чем гражданские лица), среднее арифметическое супер-прогнозистов составило 0.25.

Какие черты характера и методы работы присущи супер-прогнозистам?

• На самом базовом уровне, понимание теоремы Байеса и способность определить базовую вероятность какого-либо события.
• Быстрый анализ входящей информации на предмет ее влияния на прогноз и пересчет базовой вероятности прогноза по все той же теореме Байеса. Здесь самой трудной задачей является определение собственно дельты, которую новость вносит в прогноз. Скажем, мы делаем первоначальный прогноз, что с базовой вероятностью в 60% Барселона в этом году выиграет Лигу Чемпионов. Неделей спустя появляется новость о том, что Месси на тренировке растянул сухожилие. Понятно, что потенциальное отсутствие Месси в составе потянет наш первоначальный прогноз вниз. Но насколько вниз? Для этого сперва нужно определить максимальный урон – скажем, анализ матчей Лиги BBVA без Месси и анализ матчей против тех же команд с его присутствием показывает, что в его отсутствие команда забивает в целом на 0.6 голов меньше и проигрывает на 0.2 матчей больше (зависимость нелинейная, так как Неймар и Суарез тоже не зря командный хлеб едят). И предположим, что из-за этого мы готовы снизить свой прогноз с 60% до 56%. Максимальный урон определен, теперь как насчет вероятности того, что Месси действительно не будет в финальном составе? Статистика показывает, что с растянутым сухожилием игрок сидит на скамейке в среднем 24 дня (все факты, кстати, придуманы мною на ходу просто для иллюстрации подхода). Поскольку финал Лиги Чемпионов состоится аж в конце мая, планку прогноза можно смело возвращать на 60% – если Месси и не будет в составе команды, то не по вине этого сухожилия.
• Супер-прогнозисты постоянно выискивают полезную информацию, которая опровергает их постулаты. Т.е. им не интересно вариться в собственном соку, где все поддакивают и восхищаются качеством прогноза – аргументированные мнения против, либо же новая информация (скажем, в среднем игроки с растянутым сухожилием возвращаются в игру 24 дня спустя, но в 5% случаев их карьера останавливается на 5-6 месяцев, а в 0.3% случаев – навсегда) всегда обрабатываются на предмет их воздействия на прогноз с последующим математическим анализом.
• Супер-прогнозисты в итоге являются активными читателями периодической прессы. Ключевым словом здесь стоит считать “активными” – большинсто СМИ по сути пересказывают одни и те же события и читать 40 статей на тему обстоятельств травмы Месси либо слушать горестные высказывания фанов – пустая трата времени. Супер-прогнозисты не только много читают, но и безжалостно фильтруют поступающие новости на предмет их информативной ценности.

Красной нитью через книгу проходит важность точной постановки вопроса. Составитель прогноза не может дать четкий ответ на вопрос “Какой будет жизнь в 2050 г.?” либо “Есть ли жизнь на Марсе?” Интересные вопросы, которые получают качественные ответы, содержат временные, географические и другие рамки. К примеру – какова вероятность массового убийства (1,000 и больше человек) в Нигерии до 1 января 2017 г.? Наличие временного ограничения также позволяет отметить событие как состоявшееся, после чего предсказатели начинают анализ своего прогноза. При бинарном исходе интересны как полнейшие провалы так и варианты, где эксперт выдал, скажем, прогноз на 75%-25% и оказался прав на 75%. Чем он руководствовался при определении “проигравших” 25%? Была неправильно определена базовая вероятность на начальном этапе? Либо же предсказатель пропустил какую-то новость, которая содержала весомую информативную нагрузку? Либо же наоборот, обработал новость и скорректировал прогноз, но скорректировал слишком агрессивно, т.е. переоценил важность этой новости?

Тетлок нелестно отзывается о прогнозах, которые мы имеем удовольствие слышать в СМИ – каждое появление “экспертов” на ТВ (и других СМИ) изобилует словами-заглушками – “возможно”, “не исключаем”, “вполне можно ожидать”. Телеканалы можно понять – не каждый станет приглашать в студию ботана, который будет расписывать вероятность конкретного события в 52%. Люди реагируют на громкие заголовки и сенсационные предсказания, эксперты не забывают ввернуть “возможно” при всяком удобном случае и в случае неудачи пожимают плечами – дескать, “возможно” в равной степени означает “возможно и нет”. Книга Тетлока – это отчасти манифест требовать от экспертов не только математической вероятности (что вряд ли в политическом дискурсе общего плана), но и ответственности за сделанные ранее прогнозы, этакая шкала Брайера, привязанная к каждому “гостю нашей программы”. Второй проблемой современного общества является подчеркнутая в рецензии The Economist склонность людей доверять авторитету –  громкому имени и должности. В плане финансовых вопросов, скажем, телезрители более склонны уделить внимание вице-президенту банка, а не пенсионеру, хотя последний, ввиду своего свободного времени, имеет доступ к большему количеству информационных ресурсов и заслужил репутацию неплохого предсказателя, но заслужил ее в узких кругах.

Книга полезная, но в целом очень длинная – тезисы легко уместились бы в пару статей. В описании супер-предсказателей автор углубляется в их биографические данные. Понятно, что там будет присутствовать любовь к чтению, математике и поглощению новой информации. И когда это повторяется в очередной раз с новым экспертом, начинаешь пролистывать страницы в поисках чего-то нового. Поиск на YouTube по названию книги дает несколько лекций и интервью автора и в принципе вполне заменит ознакомление с ней. Если видео-ролики пробудили интерес, то книгу, наверное, все же стоит прочитать.

Рецензент The Wall Street Journal считает, что это “самая важная книга в плане осмысления и принятия решений” после “Thinking, Fast and Slow” Дэниела Канемана. Сам Канеман ставит Superforecasting на первое место, считая ее учебником по систематическому мышлению.

Из прочитанного: Superforecasting