Как и индуктивные аргументы, теории и объяснения всегда имеют дело с вероятностью, а не с убежденностью. Иногда – например, в судебных делах – «отсутствия разумных оснований для сомнения» достаточно, чтобы руководствоваться эмпирическим правилом. Однако строгое научное объяснение требует установить более точный критерий доказанности{89} – барьер между принятием и отклонением теории.

В контексте эксперимента важно понятие статистической значимости{90}. Возможно, из-за слова «статистическая» оно кажется научной абстракцией, но, по сути, описывает простую вещь – вероятность того, что определенный результат мог быть совершенно случайным.

Как нетрудно догадаться, чем менее вероятен случайный характер события, тем больше шансов, что наблюдается нечто реальное и достойное внимания. При этом результат, который достигается в любом случае, практически ничего не доказывает. Например, вам предлагают волшебный порошок для защиты от похищения инопланетянами. Вряд ли этому заявлению следует верить, несмотря на стопроцентное отсутствие в данном случае жертв похищения. Рассмотрим пример.

Я создал потрясающее приложение для смартфона, которое позволяет предсказывать результаты броска монеты, когда она еще находится в воздухе. Позвольте, я это продемонстрирую. Достаньте из кошелька монету и подбросьте ее. Я объявлю результат, как только она взлетит, и он будет правильным, обещаю! Я продам вам этот секрет за £10 млн.

Чтобы проверить мое смелое заявление, вы захотите получить большое число верных предсказаний подряд. Для меня это самый простой способ продемонстрировать, что я не угадываю по чистой случайности. С каждым следующим броском вероятность того, что мне просто везет, будет уменьшаться.

Воспользуемся понятиями гипотезы и нулевой гипотезы. Вы исследуете гипотезу «Приложение Тома способно всякий раз правильно предсказывать результат подбрасывания монеты». Следовательно, нулевая гипотеза, которую вы стремитесь опровергнуть, – «Том всякий раз угадывает результат броска монеты по чистой случайности».

Сколько правильных ответов я должен дать, чтобы вы поверили в мое волшебное приложение? Пять? Двадцать? Тысячу? Дабы ответить на этот вопрос, узнаем, как меняются шансы угадать результат с каждым следующим броском.

После первого броска мой шанс дать правильный ответ – один из двух: ½. После второго вероятность того, что я случайно угадаю результаты в обоих случаях, составляет ½ × ½ = ¼. После третьего броска возможность угадать все три исхода равняется 1/8 (при каждом следующем подбрасывании мы умножаем предыдущий результат на ½).

В таблице показаны шансы того, что чистое везение позволит мне давать верный прогноз десять раз подряд, а также вероятность этого, выраженная в виде десятичной дроби.

К десятому подряд верному ответу шансы на то, что мне просто везет, составляют менее 1 из 1000. В этот момент вы можете решить, что волшебное приложение продемонстрировало очень высокую статистическую значимость и стоит любых денег.

Величина является статистически значимой, если вероятность достижения этого результата по чистой случайности ниже уровня, заранее установленного вами в качестве порогового, отсекающего недоказанное от доказанного. В статистике этот уровень называется p-значением[20]{91}. В крайнем правом столбце таблицы даны p-значения для результата каждого броска – вероятность того, что результат был целиком и полностью игрой случая, указанная на шкале от абсолютной уверенности (1) до полной невозможности (0).

Ученые в своих исследованиях часто используют в качестве порогового p-значение, равное 0,05: это означает, что любой результат, p-значение которого ниже данной величины, с вероятностью более 95 % не был случайным.

95 %-ная уверенность в значимости результатов может выглядеть впечатляюще, однако необходимо помнить: из этого следует, что результаты 1 эксперимента из каждых 20, согласно статистике, оказались, скорее всего, чистым везением.

Если в эксперименте с монетой вы задали p-величину в 0,05, то сколько результатов подбрасывания я должен предсказать, чтобы соответствовать этому критерию? Загляните в таблицу. Четырех бросков недостаточно – вероятность равна 0,0625, – но уже на пятом я прохожу барьер 0,05. Что, если вы заранее установили намного более жесткий критерий – 0,001? Я должен дать десять правильных ответов подряд, чтобы достичь этого уровня статистической значимости. Тогда мы сможем сказать:

Шанс незначимости результатов – менее 1 из 1000. Потрясающе! Скорее ищите деньги, чтобы купить мое изобретение. Вы запросто можете впечатлиться изобретением, если, конечно, не наведете справки и не выясните, что до вас мы с друзьями обошли с тем же самым волшебным приложением больше 1000 человек. Некоторые мошенники именно так и поступают. Ради того, чтобы сорвать жирный куш, можно сделать и тысячу попыток в ожидании всего одной лишь фантастической удачи. В некоторых обстоятельствах даже значимости больше 1 из 1000 недостаточно для полной уверенности.