Введение в A/B-тестирование

Что такое

A/B тест — рандомизированный эксперимент:

• Group A видит старую версию (control)
• Group B видит новую (variant)
• Меряем разницу метрик
• Решаем что катить

Зачем

Без A/B тестов решения принимаются «на глазок» — управление мнениями вместо данных.

Google проводит 10 000+ A/B-тестов в год. Меняют оттенки синего, ширину поля поиска, порядок результатов.

Когда A/B нужен

✅ Меряемо: можно посчитать метрику до/после ✅ Атомарно: одна гипотеза, одно изменение ✅ Достаточно трафика: можно набрать sample size

Когда A/B НЕ нужен

❌ Изменения которые ОБЯЗАНЫ быть (security fixes) ❌ Когда trafic слишком мал (нужно 100K юзеров для теста) ❌ Когда стоимость теста выше потенциальной пользы

Структура хорошего A/B

1. Гипотеза: «Если изменим X на Y, метрика Z вырастет на ≥ N%»
2. Метрика успеха (одна основная)
3. Guardrail-метрики (что не должно ухудшиться)
4. Sample size (заранее рассчитан)
5. Срок (обычно 1-2 недели — захватить недельную сезонность)
6. Решение: если p<0.05 и эффект>MDE — катим

Кейс

Airbnb тестировал: показывать ли «количество гостей сейчас на этой странице» (social proof).

• Hypothesis: увидим что юзер не одинок → сконверсятся
• Result: +0.5% к booking, p<0.01
• Выкатили

Эта одна фича принесла миллионы $.