Подготовка к A/B: метрика и сегменты

Главная метрика

A/B без основной метрики — мусор. Выбери ОДНУ.

Критерии хорошей метрики:

1. Прямо связана с бизнес-целью (если оптимизируешь воронку покупки → CR в покупку)
2. Стабильна (низкая шумность, можно поймать малые эффекты)
3. Атрибутируема (понятно как именно фича на неё влияет)

Не вторичные метрики

Часто соблазн считать «всё». Не делай — это multiple testing проблема.

• Если меряешь 20 метрик, одна покажет p<0.05 случайно
• Решение: выбрать ОДНУ primary + 2-3 guardrails

Guardrails

Метрики которые не должны ухудшиться даже если primary улучшилась.

Примеры:

• Primary: CR в покупку
• Guardrails: время загрузки страницы, число ошибок, retention

Если CR ↑10% но retention ↓5% — может, выкат не нужен.

Сегментация

Один и тот же эффект может быть разным в разных сегментах:

• iOS vs Android
• Новые vs старые юзеры
• Россия vs Казахстан

Сначала смотри общий эффект, потом сегменты. Если в одном сегменте +20%, в другом −10%, общий +2% — нужно понимать что фича не для всех.

Анти-паттерн

«Закрутили тест, посмотрим какой сегмент сработал». Это fishing for significance — найти что-то «значимое» среди 20 сегментов.

Правильно: заранее список метрик и сегментов, потом запускай.