Когда A/B-тест “ничего не показал”, это не всегда значит, что эффекта нет. Часто проблема в высокой дисперсии: шум перекрывает сигнал. Один из самых практичных способов повысить чувствительность эксперимента — CUPED.
Что такое CUPED
CUPED (Controlled-experiment Using Pre-Experiment Data) — это метод уменьшения дисперсии метрики за счёт данных, собранных до старта эксперимента.
Идея простая: если поведение пользователя в прошлом связано с его поведением во время теста, прошлые данные можно использовать как корректировку. Тогда случайный шум уменьшается, а реальный эффект становится заметнее.
Как это работает
Берётся:
- целевая метрика в эксперименте
Y - ковариата
X— значение метрики или связанного признака до эксперимента
Дальше строится скорректированная метрика:
Y_cuped = Y - θ(X - E[X])Где θ выбирается так, чтобы минимизировать дисперсию. На практике:
θ = Cov(X, Y) / Var(X)Если X хорошо коррелирует с Y, дисперсия заметно падает.
Зачем использовать CUPED
- повышает статистическую мощность теста
- помогает обнаруживать более слабые эффекты
- может сократить длительность эксперимента
- снижает требования к размеру выборки ⚙️
Когда метод особенно полезен
CUPED хорошо работает, если:
- есть качественные pre-experiment данные
- метрика стабильна во времени
- между прошлым и текущим поведением есть корреляция
Типичный пример: в e-commerce можно взять траты пользователя за прошлую неделю как ковариату для анализа текущей выручки.
Когда CUPED не поможет
- если pre-period данные шумные или неполные
- если корреляция между
XиYслабая - если ковариата уже затронута экспериментом
- если есть сильный temporal shift между периодами ⚠️
Важно: нельзя брать признаки, на которые уже мог повлиять тест, иначе корректировка исказит оценку эффекта.
Практические нюансы
- Ковариату лучше считать на том же объекте рандомизации: user, session, store и т.д.
- Для новых пользователей метод может быть бесполезен: у них нет истории.
- CUPED не заменяет корректный дизайн эксперимента — он усиливает хороший A/B-тест, а не спасает плохой.
- Перед внедрением полезно проверить, насколько реально снизилась дисперсия на исторических данных.
Почему CUPED так популярен
Потому что это редкий случай, когда матстатистика даёт практический выигрыш без усложнения продукта. Никаких изменений в UX, только более умная обработка данных. Для крупных платформ это означает быстрее принимать решения и дешевле запускать эксперименты 🚀
Коротко
CUPED — это способ сделать A/B-тесты “тише”: убрать лишний шум, чтобы лучше увидеть эффект. Если у продукта есть хорошая пользовательская история, метод часто даёт один из самых выгодных апгрейдов экспериментальной платформы 💡
👀 Загляните в подборку каналов про IT — там ещё больше про аналитику, эксперименты, data science и инженерные практики.