p-value простым языком
Что это и что НЕ это. Самая частая ошибка джунов.
Что такое
p-value = вероятность увидеть данные (или ещё более экстремальные) ПРИ УСЛОВИИ что H0 верна.
Формально: p = P(данные | H0)
Что НЕ такое
❌ «Вероятность что результат случаен» ❌ «Вероятность что H0 верна» ❌ «Вероятность ошибиться»
Эти три формулировки — самые частые на собесах. Все неверны.
Правильный пример
A/B тест баннера. H0: разницы нет. Получили p=0.03.
❌ «С вероятностью 97% баннер работает» ❌ «С вероятностью 3% это случайность» ✅ «Если бы баннер не работал, мы бы увидели такую разницу всего в 3% случаев»
Alpha (порог)
Обычно 0.05. Если p < 0.05 → отвергаем H0.
Почему 0.05? Так Рональд Фишер предложил в 1925 — стало стандартом. Для медицины часто 0.01.
Связь с FP rate
Если alpha=0.05 и H0 реально верна — у нас 5% шанс ошибочно её отвергнуть (false positive).
Эффект-размер vs p-value
p=0.001 при разнице 0.01% — статзначимо, но бизнес-значимо? Нет.
p=0.06 при разнице 30% — не статзначимо, но эффект огромный → нужно больше данных.
Всегда смотри confidence interval, не только p-value.