Медиана, нулевая гипотеза и p‑value

Без цензуры про продукты. Здесь нет успешного успеха, рассказываю, как запускали продукты через боль и юмор.

медианаp-valuea/b тест

Концептуально разворачиваем наш корабль в сторону серьезного разговора или как говорят: "Нам нужно серьезно поговорить".

Вопросы из списка "Валера, вас вылечит только электричество" у нас уже были, сегодня разберем, наконец-то, продуктовые вопросы с собесов.

Начинаем:

Что такое медиана? - Значение, которое делит выборку пополам.

Как считается медиана?

  1. Упорядочьте все данные по возрастанию.
  2. Если количество значений нечётное, медиана - это число посередине.
  3. Если количество значений чётное, медиана - это среднее арифметическое двух центральных чисел.

Какой вывод можно сделать, если медиана отличается от среднего?

  • В вашей выборке есть вбросы, проверяйте выборку, смотрите что за вбросы (они могут быть как в положительную, так и в отрицательную сторону).

В каких случаях стоит использовать медиану?

  • Если данные не семеричные.

Пример: Сколько в среднем клиенты тратят за раз? Если нет гигантских покупок, можно среднее. Если есть риск выбросов, берем медиану;

Что такое нулевая гипотеза?

Это гипотеза, которая утверждает, что никакого эффекта, разницы или связи не существует. Например для АБ: это гипотез говорит нам, что эффекта между контрольной и тестовой группой не предвидится.

Что такое ошибки 1го, 2го рода?

  • Ошибка I рода (False Positive - ложное срабатывание) - изменения в тесте увидели, но по факту их не будет.
  • Ошибка II рода (False Negative - ложное отрицание) - когда тест показал отрицательные значения, но на самом деле фича работает (проверяйте выборку).

Что такое p-value?

- Это вероятность получить такие же или еще более экстремальные результаты, как в нашем эксперименте, при условии, что нулевая гипотеза (H0) верна. Если не понятно, попробуйте посмотреть видео про щеночков.

Завтра вторая часть, напишите в комментариях, какие еще хотелось бы разобрать вопросы?

Дискуссия

Alexander Agapov
Можно ещё про 6 сигма рассказать )) А зачем такие вопросы продакту задавать, чтобы что? 😁
Мамкин продакт Chat
Alexander Agapov
6 сигма
Это чем-то похоже с Дизайн мышление, только мне кажется больше направлено в дату) На твой вопрос: что бы что? Я отвечу так: "Если бы мы знали, что это такое, но мы не знаем что это такое") Если без шуток, это понимание в дате, на сколько ты можешь сильно в данные погружаться, в Т-банке и в Авито это сильно развито)
Присоединиться к обсуждению →