Золотая середина, на которой и должны остановиться компании, – это такое прогнозирование, когда можно использовать определенные данные, логику и анализ, но при этом не меньшую роль играют взвешенная оценка и продуманная постановка вопросов. Предсказание коммерческого потенциала препаратов при проведении клинических испытаний требует и научной экспертизы, и бизнес-оценки. Специалисты по оценке соискателей опираются на формальные данные (тестирования), но при этом они должны учитывать и такие неосязаемые факторы, как соответствие культур, взаимопонимание между руководителями и вероятность возникновения ожидаемого синергетического эффекта.
Рассмотрим опыт одного британского банка, который в начале 1990-х годов потерял много денег, предоставив кредиты американским кабельным компаниям, которые были довольно успешными, но в итоге обанкротились. Главный кредитный директор провела ревизию предполагаемых ошибок, изучив типы выданных кредитов, данные о клиентах и задействованных кредитных специалистах, систему мотивации и другие факторы. Она оценивала проблемные кредиты по каждому из этих факторов, а затем анализировала, какие из них лучше всего объясняют различия в потерянных суммах. В случаях, когда потери были значительными, она выявила недостатки андеррайтинга, которые привели к выдаче кредитов клиентам с плохим финансовым положением или не имевшим кредитной истории, – а для решения этих вопросов как раз важны опыт и умение рассуждать. Банку удалось добиться точечных улучшений, которые повысили эффективность его работы и минимизировали убытки.
Основываясь на нашем опыте в области исследований и консалтинга, мы определили набор методов, которыми могут воспользоваться руководители, чтобы повысить в своих компаниях качество прогнозов в этой «средней» зоне. Суть наших рекомендаций: с помощью тренингов улучшить способность отдельных специалистов к прогнозированию, перейти на командную работу для повышения точности, а также отслеживать эффективность прогнозирования и обеспечивать оперативную обратную связь. Разумеется, общие подходы, которые мы описываем, следует адаптировать для каждой организации и совершенствовать по мере того, как компания будет узнавать, что и при каких обстоятельствах срабатывает.
Тренируйте здравый смысл
Большинство прогнозов компаний основаны отнюдь не на холодном расчете, будь то бюджеты проектов, планы продаж, производительность потенциальных работников или эффективность иных приобретений. Прогнозисты привносят свое понимание общих статистических суждений, когнитивные искажения, стремление влиять на мнение других людей, а также опасения по поводу своей репутации. Если уж на то пошло, часто прогнозы делаются туманными намеренно – чтобы в случае ошибки было как можно более широкое пространство для маневра. Но есть и плюс – тренинги по развитию логического непредвзятого мышления могут заметно улучшить способность специалистов компании давать верные прогнозы. Проект «Здравый смысл» показал, что всего лишь часовое обучение помогло повысить точность прогнозов на ближайший год примерно на 14 % (см. раздел «Как тренинги и командная работа повышают точность прогнозирования»).
Основные ошибки в рассуждениях (например, уверенность в том, что если при подбрасывании монеты три раза подряд выпал орел, то в следующий раз непременно выпадет решка) сказываются на точности предсказания. Поэтому очень важно добиться того, чтобы сотрудники, занимающиеся прогнозами, твердо знали основы: например, тренинги в рамках Good Judgment Project, посвященные таким концепциям вероятности, как регрессия к среднему значению и байесовский вывод (обновление оценки вероятности в свете новых данных), заметно повысили точность предсказаний участников. Компании также должны требовать, чтобы прогнозы содержали точное определение того, что именно прогнозируется (скажем, вероятность выполнения потенциальным сотрудником плана по продажам), а также временны́е рамки (например, один год). Сам прогноз должен быть выражен в виде числовой вероятности, чтобы впоследствии можно было оценить его точность. Таким образом, оценка того, что новый сотрудник выполнит поставленные задачи, должна звучать как «с вероятностью 80 %», а не «практически наверняка».
Широко известно, что наши суждения подвержены когнитивным искажениям и некоторые из них особенно пагубно воздействуют на прогнозирование. Они заставляют людей отслеживать происходящее в поисках того, что подтверждает их мнение, а также пытаться во что бы то ни стало доказать свою правоту. Бороться с таким предвзятым подходом довольно сложно, но в ходе Good Judgment Project участники добились определенных успехов, сумев осознать основные когнитивные искажения, которые мешают прогнозированию. Например, новички учились отслеживать так называемую склонность к подтверждению своей точки зрения (она способна дать человеку ложную уверенность в собственной правоте), а также уделять должное внимание фактам, ставящим под сомнение их выводы. Кроме того, слушателям напоминали, что нельзя рассматривать вопросы изолированно, а следует прибегать к «стороннему взгляду», если воспользоваться термином лауреата Нобелевской премии Даниэля Канемана. Например, при прогнозировании, сколько времени уйдет на проект, участникам тренинга предлагалось сначала поинтересоваться, сколько времени обычно занимает выполнение подобных проектов. Это позволило бы избежать заниженной оценки необходимого времени.
Обучение также помогает разобраться в психологических факторах, которые приводят к необъективным вероятностным оценкам, – например, в склонности полагаться на несовершенную интуицию вместо тщательного анализа. Интуитивные представления о статистике, как известно, подвержены иллюзиям и суевериям. Аналитики фондового рынка могут разглядеть в данных закономерности, которые не имеют под собой никакой статистической базы, а любители спорта считают феномен временного повышения вероятности успешных бросков, известный как «эффект горячих рук», подтверждением невероятных новых возможностей, в то время как на самом деле это лишь мираж, вызванный причудливыми вариациями в маленькой выборке.
Другой прием, помогающий осознать психологические стереотипы, которые лежат в основе искаженных оценок, – это «квизы на уверенность». Участникам предлагается ряд вопросов общего характера («В каком возрасте умер Мартин Лютер Кинг?») или связанных с деятельностью компании («Сколько налогов уплатила наша фирма в прошлом году?»). Задача прогнозиста – высказать наиболее вероятное предположение в виде диапазона и присвоить ему определенную степень уверенности; например, он может заявить, что Кингу на момент гибели с вероятностью 90 % было от 40 до 55 лет (на самом деле – 39 лет). Цель состоит не в том, чтобы оценить знания участников, а в том, чтобы понять, насколько они отдают себе отчет в том, чего не знают. Уилл Роджерс в свое время иронично заметил: «Нам мешает не то, чего мы не знаем, а то, чего мы не знаем, думая, что знаем». Как правило, участники обнаруживают, что половина или более тех диапазонов, в которых они уверены на 90 %, не содержат верного ответа.
Повторимся: универсального средства, позволяющего избежать этих системных ошибок, не существует, и в каждой компании нужно адаптировать программы обучения к собственным реалиям. Susquehanna International Group, частная международная компания, занимающаяся количественным трейдингом, использует свой уникальный подход. Эта компания, осуществляющая сделки на сумму более $1 млрд в год, была основана в 1987 году поклонниками покера, и от всех ее новых сотрудников требуется много играть в покер – прямо в рабочее время. В процессе игры участники узнают о когнитивных ловушках, о психологических эффектах (таких, как принятие желаемого за действительное), о поведенческой теории игр и, конечно же, о теории опционов, арбитраже, валютном и торговом регулировании. Занятия, в основе которых игра в покер, помогают понять, как важно мыслить вероятностями, акцентируют внимание на информационной асимметрии (то, что известно сопернику, но не мне), учат, когда лучше сбросить карты при плохой раздаче, и определяют успех не как победу в каждой партии, а как способность извлечь максимальную пользу из тех карт, что у вас на руках.
Кроме того, руководству компаний необходимо проводить специализированные тренинги, ориентированные на более узкие области прогнозирования, такие как продажи и научно-технические исследования, а также на те направления, где показатели прошлых лет были особенно низкими. Если ваш отдел продаж склонен к излишней самоуверенности, над этим перекосом следует систематически работать. Такие специализированные программы сложнее разрабатывать и проводить, чем программы общего характера, но они часто приносят больше пользы, поскольку носят направленный характер.
Соберите подходящую команду
Объединение прогнозистов в команду – это эффективный способ повысить качество прогнозов. В рамках Good Judgment Project участники были случайным образом разделены на две группы: несколько сотен работали индивидуально, а несколько сотен – совместно, в командах. Агентство передовых исследований в сфере разведки США (IARPA) проводило турнир в течение четырех лет, и каждый раз команды выдавали более точные прогнозы, чем те, кто работал в одиночку. Конечно, для достижения высоких результатов команды должны эффективно управляться и обладать определенными отличительными чертами.
Участники турниров Good Judgment Project, проявившие себя наилучшим образом, предельно честны в отношении причин своего успеха: они признают, что, возможно, дали верный прогноз не благодаря анализу, а вопреки ему. Они осторожны, скромны, непредвзяты, умеют анализировать и обращаться с цифрами (см. раздел «Кто же эти суперпрогнозисты?»). При формировании команды компаниям следует искать прирожденных прогнозистов, которые умеют избегать когнитивных искажений, способны здраво рассуждать и внимательны к полученным данным.
Влияние обучения и командной работы на повышение точности прогнозов
Также очень важно, чтобы команды, которые занимаются прогнозами, были интеллектуально разносторонними. По крайней мере один из ее участников должен быть специалистом в своей области (например, финансист в команде бюджетного прогнозирования), но при этом важно присутствие и неспециалистов, особенно тех, кто не стесняется оспаривать мнение предполагаемых экспертов. Не стоит недооценивать таких универсалов. В ходе конкурсов Good Judgment Project гражданские прогнозисты-непрофессионалы не раз одерживали победу над подготовленными аналитиками-разведчиками на их собственном поле.
Команда может прогнозировать одно событие (например, вероятность рецессии в США через два года) или серию событий (например, риск рецессии в течение каждого года в отдельных странах), но в любом случае для конечного успеха ей необходимо грамотно пройти через три этапа: этап ретроспекции, когда задача, предпосылки и подходы к поиску ответа изучаются под разными углами; этап диагноза, на котором еще возможны продуктивные разногласия; и этап проспекции, в ходе которого команда составляет свой прогноз. На каждом из этих этапов работа идет быстрее и успешней, если вопросы сосредоточены на проблеме и обеспечивается регулярная обратная связь.
Этапы ретроспекции и диагноза очень важны: если ими пренебречь или подойти к ним чересчур поверхностно, команда столкнется с эффектом туннельного зрения. В этом случае область поиска сужается, что довольно быстро приводит к неверному ответу и снижению качества прогноза. Можно это предотвратить, следуя соответствующим правилам, таким как нацеленность на сбор новой информации и проверка предположений, связанных с поставленной задачей. Кроме того, командам следует всячески избегать распространенной ошибки прогнозирования – так называемого эффекта якоря, при котором первоначальная (и, возможно, не самая обдуманная) оценка искажает дальнейшие суждения. Зачастую это происходит неосознанно, поскольку легкодоступные данные служат удобной отправной точкой (а эффект якоря могут создать даже случайные числа, использованные в первоначальной оценке).
Кто же эти суперпрогнозисты?