Один из нас, Пол, провел эксперимент со студентами MBA Чикагского университета, в ходе которого было продемонстрировано, как разнообразные исследования на этапе ретроспекции определяют итоговый прогноз. В одном из заданий участники из контрольной группы должны были оценить, сколько золотых медалей США выиграют по сравнению с другой лидирующей страной на следующих летних Олимпийских играх, и указать диапазоны, в которых их уверенность составляет 90 %. Вторую группу попросили сначала обрисовать различные причины, по которым соотношение медалей может быть ниже или выше, чем в прошлые годы, а затем произвести оценку. Разумеется, эта группа вспомнила о террористических актах и бойкотах, а также рассмотрела другие факторы, которые могут повлиять на результат, – от болезней до более качественных тренировок и применения допинга. В результате такого разностороннего подхода диапазоны этой группы были значительно шире диапазонов контрольной группы, часто более чем в полтора раза. Как правило, более широкие диапазоны соответствуют более взвешенным прогнозам, а узкие диапазоны обычно указывают на излишне уверенные (и зачастую менее точные) прогнозы.
Наконец, для достижения хороших результатов необходимо доверие внутри команды. Для групп прогнозирования, учитывая характер их работы, это имеет особое значение. Если команда предрекла, что новое приобретение будет успешным (неудачным), или невысоко оценила шансы на успешную продажу части бизнеса, эти выводы могут затрагивать проблемные области или угрожать чьему-нибудь самолюбию и репутации. Кроме того, может оказаться, что отдельные подразделения компании и, возможно, конкретные сотрудники не сильны в прогнозировании. Для того чтобы прогнозисты смело делились своими суждениями, они должны доверять друг другу и не сомневаться в поддержке со стороны руководства, зная, что они не потеряют ни рабочие места, ни репутацию. Мало что способно остудить энтузиазм быстрее, чем чувство незащищенности, когда выводы прогнозистов могут угрожать им же самим.
Отслеживайте результативность и давайте свои комментарии
Как показывает наша работа в рамках Good Judgment Project, а также сотрудничество с отдельными компаниями, для повышения точности прогнозирования крайне важно отслеживать результаты прогнозов и своевременно давать обратную связь. Вот, например, американские синоптики: как бы их ни критиковали, они демонстрируют отличные результаты. Если они говорят, что вероятность дождя составляет 30 %, то в предсказанные дни дождь идет в среднем примерно в 30 % случаев. Основная причина их успеха – в том, что они получают своевременную, постоянную и непротиворечивую обратную связь по поводу точности своих прогнозов, и это часто имеет прямое отношение к оценке их работы. Игроки в бридж, внутренние аудиторы и геологи-нефтяники также выдают точные прогнозы, во многом благодаря надежной обратной связи и стимулам для дальнейшего развития.
Самый надежный способ отслеживать прогнозы и оценивать их точность – показатель Бриера. Он позволяет компаниям производить прямые, статистически достоверные сравнения прогнозистов по серии прогнозов. С течением времени количество набранных баллов выявляет лучших, будь то команды, их отдельные представители или специалисты, работающие индивидуально (см. врезку «Показатель Бриера выявит ваших лучших (и худших) прогнозистов»).
Однако для повышения точности прогнозов недостаточно просто подсчитать, сколько очков набрала команда, – необходимо также оценить процедуру, которой она пользовалась. Чтобы извлечь пользу из полученных результатов – и хороших, и плохих, – важно выяснить, как они были достигнуты. Одна проверка, например, покажет, что к прогнозу, как точному, так и ошибочному, привели определенные этапы процедуры. Другая установит, что прогноз оказался верен, несмотря на ошибочное обоснование (просто повезло), – или что причиной ошибки стали какие-то особые обстоятельства, а не плохо проведенный анализ. Например, ритейлер может очень точно спрогнозировать, сколько покупателей посетит магазин в тот или иной день, но если произойдет событие из разряда «черных лебедей» – скажем, угроза взрыва, – то магазин закроется, а прогноз окажется неверным. Показатель Бриера будет низким, но анализ процедуры покажет, что дело не в ней: причина ошибки будет определена как неудачное стечение обстоятельств.
Показатель Бриера выявит ваших лучших (и худших) прогнозистов
КРАЙНЕ ВАЖНО, ЧТОБЫ ПРОГНОЗИСТЫ давали точные оценки вероятности. Например: вероятность того, что компания в первом квартале продаст от 9000 до 11 000 единиц нового продукта, составит 80 %. Тогда прогнозы можно анализировать и сравнивать между собой при помощи особого инструмента – показателя Бриера, который позволяет оценить работу прогнозистов и ранжировать их в соответствии с умениями и навыками.
Показатель Бриера рассчитывается как квадрат разницы между вероятностью прогноза и фактическим результатом, который оценивается как 1, если событие произошло, и 0, если нет. Например, если прогнозист делает заключение, что компания перевыполнит план продаж с вероятностью 0,9 (т. е. он уверен в этом на 90 %), и прогноз сбывается, то показатель Бриера в этом случае вычисляется так:
(0,9–1)2 = 0,01.
Если же прогноз окажется ошибочным, то его показатель будет таким:
(0,9–0)2 = 0,81.
Чем ближе к нулю показатель Бриера, тем меньше погрешностей в прогнозе, тем он точнее.
Показатель Бриера наглядно показывает, кто хорош в прогнозировании, а кто нет. Он позволяет напрямую сравнивать прогнозистов, что поощряет вдумчивый анализ и разоблачает как «выстрелы наугад», так и тенденциозность.
В оценке процедуры прогнозирования есть еще одна важная составляющая – необходимо проанализировать взаимодействия в группе. Ни достоверные данные, ни неукоснительное следование всем правилам составления прогнозов не помогут, если не отлажена работа самой команды. Вспомните переговоры между NASA и его подрядчиком, инженерной компанией Morton Thiokol, накануне запуска космического челнока «Челленджер» в 1986 году, окончившегося катастрофой. Первоначально инженеры Thiokol были против запуска, опасаясь, что низкие температуры могут испортить уплотнительные кольца, которые герметизировали стыки ракетных двигателей. По их прогнозам, риск повреждения из-за воздействия низкой температуры был намного выше обычного. Однако в итоге они, к сожалению, изменили свою позицию.
Анализ инженеров был верным, а вот организация процедуры оказалась слабой. На слушаниях в конгрессе была восстановлена картина событий того дня, показавшая, какие условия – в сочетании – заставили специалистов изменить прогноз: нехватка времени, требования руководства, недостаточно вдумчивое изучение альтернативных точек зрения, попытки подавить голоса несогласных и ощущение своей непогрешимости (в конце концов, 24 предыдущих полета прошли хорошо).
Во избежание подобных катастроф – и для повторения успехов – руководители компаний должны систематически и своевременно собирать отчеты о том, как их ведущие команды выносят суждения, вести учет сделанных предположений, использованных данных, проведенных консультаций с экспертами, внешних событий и так далее. Для анализа процедур можно использовать видеозаписи или стенограммы совещаний; кроме того, если попросить специалистов по прогнозированию фиксировать ход своей работы, это тоже может дать важную информацию. Помните, ранее мы приводили в пример компанию Susquehanna International Group, где трейдеров обучают играть в покер? Перед каждой транзакцией трейдеры должны аргументировать вступление в сделку или выход из нее. От них требуется рассмотреть ключевые вопросы: какой дополнительной информацией, способной повлиять на ход торговли, по-вашему, могут располагать другие трейдеры? Какие когнитивные ловушки могут исказить ваше восприятие этой сделки? Почему вы считаете, что эта сделка выгодна фирме? Кроме того, в Susquehanna специально подчеркивают важность процедуры: размер бонусов трейдеров привязан не только к результатам отдельных сделок, но и к качеству анализа, лежащего в основе этих сделок.
Грамотная проверка способна установить постфактум, что же пошло не так: или у прогнозистов, положившихся на ошибочные данные, неудачно сработал «эффект якоря», или они плохо сформулировали задачу, или упустили из виду важную информацию, не привлекли к работе членов команды, придерживающихся иных взглядов, а то и вовсе отказались их слушать. Проверка также способна высветить те этапы процедуры, которые привели к точным прогнозам, и тем самым передать другим группам положительный опыт для дальнейшего совершенствования.
Каждый из описанных нами методов – обучение, формирование команды, наблюдение за работой прогнозистов и выявление лучших среди них – имеет важное значение для качества прогнозирования. Все они должны быть адаптированы для различных организаций: на сегодня ни одна компания, насколько нам известно, еще не освоила их полностью и не в состоянии создать комплексную программу. Те компании, которым это удастся, получат значительное преимущество, особенно если их корпоративная культура, подобно культуре разведсообщества, поощряет организационные инновации и эксперименты.
Однако воспользоваться этим преимуществом компании смогут только в том случае, если руководители поддержат усилия по повышению точности прогнозов, продемонстрируют готовность работать методом проб и ошибок и признают, не боясь уронить свой авторитет: да, «мы чего-то не знаем, думая, что знаем».