Конверсия нового онбординга — 34% против 29%. Все рады. PM объявляет: «Гипотеза подтверждена, катим на всех».
Через три недели retention-когорта: пользователи из нового онбординга уходят к третьей неделе на 22% быстрее. Метрику retention не смотрели. Не потому что забыли. Потому что не хотели видеть плохой результат до решения.
Данные и эксперименты не защищают от ошибок - они делают ошибки убедительнее
В разборе:
- Метрика под гипотезу: почему критерий успеха выбирается после формулировки — и что это значит
- Выборка победителей: NPS 62 у 8% аудитории, которые дошли до конца
- Слабый сигнал как «позитивный тренд»: p=0.18 и три недели потерянного времени
- Постфактум-нарратив: объяснить можно любой результат — это не аналитика, это сторителлинг
- 7 операционных шагов: от pre-mortem до red team и независимого синтеза
