Когда наука перестала повторяться
В 2015 году группа из 270 исследователей (Open Science Collaboration) повторила 100 психологических экспериментов, опубликованных в ведущих журналах. Результат: только 36 из 100 дали аналогичные результаты. 64% «доказанных» эффектов не воспроизвелись. Это исследование, опубликованное в Science, стало шоком для научного сообщества и дало название проблеме — кризис воспроизводимости (replication crisis).
Проблема не ограничена психологией. Amgen (2012) пытался воспроизвести 53 «прорывных» исследования в онкологии — удалось только 6 (11%). Bayer (2011) — 67% фармакологических исследований не подтвердились. Экономика, социология, нейронаука — кризис затронул все дисциплины, построенные на статистических методах.
Четыре главных причины
1. P-hacking (подтасовка p-значения). Исследователь анализирует данные множеством способов — исключает «выбросы», добавляет контрольные переменные, меняет подгруппы — пока p-значение не станет < 0.05. Формально каждый шаг обоснован, но в совокупности это систематическое искажение. Simmons et al. (2011) показали: при достаточной «гибкости» анализа можно «доказать», что прослушивание песни Beatles делает моложе.
2. Publication bias (предвзятость публикаций). Журналы публикуют положительные результаты и отклоняют отрицательные. Учёный, не нашедший эффекта, просто не публикует статью — она ложится «в ящик» (file drawer problem). Итог: в литературе преобладают «удачные» эксперименты, что создаёт искажённую картину действительности.
3. HARKing (Hypothesizing After Results are Known). Исследователь сначала анализирует данные, находит интересную корреляцию, а затем пишет статью так, будто именно её искал с самого начала. Гипотеза формулируется после результатов, а не до — но выглядит как «подтверждённое предсказание».
4. Малые выборки. Исследования с 20–30 участниками обладают низкой статистической мощностью. Такие исследования чаще дают случайные результаты, которые не воспроизводятся на больших выборках. Button et al. (2013) показали: средняя мощность нейрокогнитивных исследований — 21% (при рекомендуемых 80%).
Решения: как наука исправляется
Pre-registration (предрегистрация). Исследователь публикует план эксперимента (гипотезу, методы, критерии анализа) ДО сбора данных. Платформа OSF.io (Open Science Framework) хранит зарегистрированные планы. Это исключает HARKing и p-hacking: анализ привязан к заранее объявленному плану.
Registered Reports. Журнал рецензирует план исследования ДО его проведения. Если план одобрен — статья будет опубликована вне зависимости от результатов (положительных или отрицательных). Это устраняет publication bias. К 2023 году 300+ журналов принимают Registered Reports.
Open Science. Движение за открытость: открытые данные (Open Data), открытый код (Open Code), открытый доступ (Open Access). Если другие учёные могут видеть исходные данные и код анализа — ошибки обнаруживаются быстрее. Plan S (2018) — инициатива европейских фондов, требующая открытый доступ для финансированных исследований.
Многоцентровые репликации. Вместо одного лабораторного повторения — десятки лабораторий по всему миру проводят одинаковый эксперимент одновременно. Many Labs 2 (2018): 28 лабораторий, 15 000 участников, 28 классических эффектов — воспроизвелось 14 из 28 (50%).
Что это значит для потребителей науки
Одно исследование — не доказательство. Даже опубликованное в престижном журнале, даже широко освещённое в СМИ. Ищите метаанализы и систематические обзоры — они обобщают множество исследований и дают более надёжную картину.
Размер выборки имеет значение. Исследование на 30 студентах — повод для интереса. Метаанализ на 10 000 участниках — повод для выводов.
Проверяйте: воспроизведено ли? Если эффект показан только в одном исследовании и ни разу не повторён — относитесь осторожно. Если воспроизведён в 5+ независимых лабораториях — можно доверять.
Кризис — это хорошо. Наука не «сломана» — она самоисправляется. То, что проблему выявили и начали решать (pre-registration, Open Data, Registered Reports), показывает здоровье научного метода. Кризис воспроизводимости — это не разрушение науки, а её иммунная реакция.