Корреляция ≠ причинность: самое важное правило
Между продажами мороженого и числом утоплений — сильная корреляция (r = 0.87). Означает ли это, что мороженое убивает? Нет. Обе переменные зависят от третьей — температуры воздуха. Летом больше покупают мороженое И больше купаются. Скрытая третья переменная называется confounding variable (смешивающий фактор).
Сайт Тайлера Вигена «Spurious Correlations» иллюстрирует абсурдность: потребление сыра per capita коррелирует с числом смертей от запутывания в простынях (r = 0.95). Фильмы Николаса Кейджа — с утоплениями в бассейнах. Корреляция может быть случайной, может быть вызвана третьей переменной — и только в некоторых случаях указывает на реальную причинную связь.
Как установить причинность
Рандомизированный контролируемый эксперимент (RCT). Золотой стандарт. Участники случайно распределяются по группам — это «уравнивает» все confounding variables (известные и неизвестные). Если группа с лекарством выздоравливает чаще — причина в лекарстве, а не в возрасте, здоровье или мотивации.
Критерии Хилла (1965). Когда RCT невозможен (например, нельзя заставить людей курить), Остин Брэдфорд Хилл предложил 9 критериев для оценки причинности из наблюдательных данных:
1) Сила связи (чем сильнее корреляция, тем вероятнее причинность). 2) Постоянство (эффект повторяется в разных популяциях). 3) Специфичность (причина ведёт к конкретному следствию). 4) Временная последовательность (причина предшествует следствию). 5) Градиент «доза-ответ» (больше причины → больше следствие). 6) Биологическая правдоподобность. 7) Согласованность с другими знаниями. 8) Экспериментальные данные. 9) Аналогия.
Хилл использовал эти критерии, чтобы доказать связь курения и рака лёгких (1950-е) — задолго до того, как молекулярные механизмы были понятны.
Два подхода к статистике
Частотный (frequentist). Доминирует в науке с 1920-х (Фишер, Нейман, Пирсон). Вопрос: «Какова вероятность данных при условии, что гипотеза ложна?» Инструменты: p-значение, доверительный интервал, тест Стьюдента, ANOVA. Проблема: не отвечает на вопрос, который всех интересует — «какова вероятность, что гипотеза верна?»
Байесовский. Основан на теореме Байеса (1763). Вопрос: «Какова вероятность гипотезы с учётом данных И предыдущих знаний?» Формула: P(гипотеза | данные) = P(данные | гипотеза) × P(гипотеза) / P(данные). Ключевое отличие: учитывает prior — предшествующую вероятность гипотезы.
Пример. Тест на редкую болезнь (1 из 10 000) с точностью 99%. Тест положительный. Частотный подход: «Результат значим» (p < 0.01). Байесовский: P(болезнь | позитивный тест) = ~1%. Даже при положительном тесте вероятность болезни — всего 1%, потому что prior (1/10000) очень мал. Это base rate fallacy — игнорирование базовой частоты.
Типичные статистические ошибки
Survivorship bias (ошибка выжившего). Авраам Вальд (WWII) заметил: военные хотели бронировать части самолётов с пробоинами. Вальд предложил обратное — бронировать те части, где пробоин НЕТ. Потому что самолёты с пробоинами в этих местах не вернулись.
Simpson's paradox. Тенденция, присутствующая в нескольких группах данных, исчезает или меняет направление при объединении групп. Пример: лечение A эффективнее B в лёгких случаях И в тяжёлых — но B «эффективнее» A при объединении (потому что A чаще назначали тяжёлым пациентам).
Multiple comparisons. При 20 одновременных статистических тестах с порогом p < 0.05 один «значимый» результат ожидается случайно. Если исследователь тестирует 20 гипотез и сообщает только одну значимую — это p-hacking. Поправка Бонферрони и FDR корректируют этот эффект.
Ecological fallacy. Вывод о людях из данных о группах. «В странах с высоким потреблением шоколада больше нобелевских лауреатов» (Messerli, NEJM, 2012). Не означает, что шоколад делает умнее — корреляция на уровне стран не переносится на уровень людей.