Суперпрогнозирование
Как повысить точность суждений в вашей компании
Пол Шумейкер, Филип Тетлок
МЫ ДУМАЕМ, ЧТО ВАША КОМПАНИЯ может значительно улучшить свои возможности в области прогнозирования, но для этого вам придется раскрыть, насколько ненадежны ее нынешние прогнозы – и насколько некомпетентны те, кто их делает. Именно так и поступило разведсообщество США, получив в итоге впечатляющие результаты. В октябре 2002 года Национальный совет по разведке (НСР) опубликовал официальное заявление, что Ирак обладает химическим и биологическим оружием, а также активно производит оружие массового поражения. Как известно, это заключение оказалось колоссальной ошибкой. Потрясенное провалом, руководство структуры, которая обходится государству в $50 млрд, поставило цель: выяснить, как можно улучшить ситуацию в будущем. При этом в НСР прекрасно понимали, что рискуют выявить вопиющие организационные недочеты.
Итоговая программа исследований включала в себя проект «Здравый смысл» (Good Judgment Project) – крупномасштабный турнир по составлению прогнозов на несколько лет. Один из нас, Фил, был среди его организаторов. Серия конкурсов, в которых тысячи любителей соревновались с опытными аналитиками разведки, привела к трем удивительным открытиям. Во-первых, талантливые непрофессионалы с широким кругозором часто превосходили специалистов по составлению прогнозов. Во-вторых, грамотно составленные программы обучения могут повысить точность прогнозирования. И в-третьих, хорошо организованные команды могут обойти одиночек. Эти выводы имеют важное значение для организаций и предприятий с точки зрения методов прогнозирования таких неопределенных исходов, как реакция конкурента на запуск нового продукта, рост прибыли за счет продвижения, а также эффективность работы потенциальных сотрудников.
Что такое Good Judgment Project
В 2011 ГОДУ ФИЛИП ТЕТЛОК совместно с Барбарой Меллерс из Уортонской школы бизнеса запустил проект «Здравый смысл» (Good Judgment Project). Целью было определить, обладают ли некоторые люди лучшими способностями к прогнозированию, чем другие, и нельзя ли повысить эффективность прогнозов. Кроме GJP, в новаторском турнире, профинансированном Агентством передовых исследований в сфере разведки (IARPA), участвовало еще четыре научно-исследовательские команды. В рамках этих соревнований прогнозисты должны были дать ответы на геополитические и экономические вопросы, которые ставят перед своими аналитиками американские спецслужбы.
Турнир IARPA проводился с 2011 по 2015 год и привлек более 25 000 участников, которые сделали более миллиона прогнозов на самые разные темы: выйдет ли Греция из еврозоны, насколько вероятна смена руководства в России, существует ли риск финансовой паники в Китае. Команда GJP одержала уверенную победу в турнире, обойдя даже собственных аналитиков разведывательного сообщества.
Подход к созданию в организации непрерывно развивающейся системы прогнозирования, который мы рассмотрим в этой статье, – это не кулинарная книга с проверенными рецептами успеха. Многие принципы довольно новые и применяются в деловой среде не так давно. Тем не менее, как показывают наши исследования, они могут помочь руководителям определять и дорабатывать наиболее подходящие способы прогнозирования для своих организаций, к чему бы эти прогнозы ни относились.
Идея вкратце
Проблема
Как известно, и организации, и отдельные люди плохо оценивают вероятность неопределенных событий. Прогнозы часто отражают когнитивные искажения их авторов, а также стремление прогнозистов влиять на других и озабоченность своей репутацией. Ошибочные суждения, разумеется, могут иметь серьезные последствия.
Исследование
На основе исследований с участием 25 000 специалистов, сделавших миллион прогнозов, авторы разработали набор методов, которые могут повысить точность прогнозирования: компании могут проводить тренинги по основам статистики и когнитивным искажениям, устраивать командные обсуждения прогнозов, отслеживать производительность и оперативно обеспечивать обратную связь.
На практике
Чтобы сделать свои прогнозы более точными, компании должны в режиме реального времени вести учет, как их ведущие команды выносят суждения, – с исходными допущениями, источниками данных, информацией о внешних событиях и так далее. Ключ к успеху – требование частых и четких прогнозов, а также сравнительный анализ их точности.
Найдите золотую середину
Как показывают исследования, и организации, и отдельные люди не слишком хорошо умеют оценивать вероятность неопределенных событий (т. е. высказывать суждения в условиях неопределенности). А ошибочные суждения, разумеется, могут иметь серьезные последствия. Стив Балмер, тогдашний гендиректор корпорации Microsoft, высказал в 2007 году прогноз: «У iPhone нет никаких шансов завоевать существенную долю рынка». Тем самым он закрыл перед Microsoft возможность рассмотреть альтернативные сценарии. Тем не менее даже незначительное повышение уровня компетентности в области прогнозирования может обеспечить конкурентное преимущество. Компания, которая дает верные прогнозы три раза из пяти, будет иметь постоянно растущее преимущество перед конкурентами, которые способны предугадать события только два раза из пяти.
Прежде чем перейти к рассмотрению того, как организация может обеспечить свое преимущество в прогнозировании, давайте разберемся, какие виды оценок проще всего усовершенствовать, а на каких не стоит заострять внимание. Мы можем обойтись без прогнозирования в тех вопросах, где все и так очевидно, или в тех, которые вообще не поддаются оценке. Рассмотрим те, которые отличаются высокой предсказуемостью: вы знаете, где через пять часов будут стрелки ваших часов, компании по страхованию жизни уверенно устанавливают страховые взносы на основе обновляемых показателей смертности. В отношении вопросов, которые можно предсказать с большой точностью с помощью эконометрических и оперативно-исследовательских инструментов, нет смысла развивать навыки субъективных суждений: данные говорят сами за себя.
На другом полюсе – сложные, плохо изученные и трудно поддающиеся количественной оценке вопросы: каким будет рисунок облаков в определенный день, когда из какого-нибудь гаража в Кремниевой долине выкатят очередную технологию, меняющую правила игры? И здесь тоже практически нет выгоды от инвестирования ресурсов в систематическое совершенствование методов прогнозирования: эти задачки просто-напросто слишком сложны, чтобы их решать.