Продуктовый аналитик
80 задач, из них 12 на код с автопроверкой. Условие и варианты ответа открыты всем; проверка, подсказка и разбор — в клубе.
Продуктовые метрики и юнит-экономика
- Retention D7 когорты равен 12%: как это читать
- Конверсия отдельного шага воронки: от какой базы считать
- ARPU и ARPPU по одним и тем же данным месяца
- LTV/CAC = 3, а бизнес убыточен: где ошибка в расчёте
- Средний чек вырос на 37%, а выручка упала на 8%
- Оценка lifetime как 1/churn для подписки
- Канал с самым низким CAC: что проверить перед переливом бюджета
- Конверсия в оплату выросла, retention D30 просел: что делать с фичей
SQL и витрины данных
- COUNT(*), COUNT(user_id) и COUNT(DISTINCT user_id) на одной таблице
- Перенос условия из HAVING в WHERE
- LEFT JOIN, из которого пропали пользователи без заказов
- Первый заказ пользователя через ROW_NUMBER и одинаковые метки времени
- Конверсия в SQL всегда выходит нулём
- Событий за день: date_trunc в фильтре и последовательное чтение
- Выручка на дашборде выше бухгалтерской в несколько раз
- Инкрементальная витрина и опоздавшие события из мобильного приложения
Воронки, когорты и событийная аналитика
- В какую когорту попадает пользователь с поздней первой покупкой
- Конверсия шага воронки получилась 120%
- Воронка «регистрация → первая оплата» без временного окна
- Резкий провал на правом краю графика retention D30
- События purchase удвоились, а в биллинге ничего не изменилось
- Общая конверсия упала, а в каждом сегменте выросла
- Свойство пользователя перезаписывается: ретроспектива по тарифу ломается
- Число заказов на дашборде не сходится с цифрой финансов
A/B-тесты и проверка гипотез
- Остановка A/B-теста на третий день из-за p-value ниже 0.05
- Сплит эксперимента на уровне сессии вместо пользователя
- p = 0.64 и вывод «эффекта нет»
- Ловить прирост конверсии 2.0% → 2.1% при трафике 3 000 в день на группу
- Из 18 метрик значимой оказалась одна
- Группы разъехались: 51 200 против 48 800 при сплите 50/50
- Значимый рост выручки на пользователя держится на нескольких крупных покупках
- CTR вырос на 12%, конверсия в оплату не изменилась: что делать с раскаткой
Гипотезы, дерево метрик и приоритизация
- Из четырёх формулировок про регистрацию выбрать проверяемую гипотезу
- Выбор North Star для сервиса доставки продуктов
- Выручка за месяц упала на 10%: какой фактор дерева разбирать первым
- Ранжирование бэклога гипотез по ICE
- По RICE кнопка оплаты в 26 раз важнее фичи для корпоративных клиентов
- Треть отказов на шаге выбора времени доставки и жалобы на пустые слоты
- Оценка прироста заказов от улучшения одного шага воронки
- DAU вырос на 15% после пушей, но прирост — пятисекундные сессии
- Конверсия в оплату за неделю упала с 4,0% до 3,3%: разбивка по платформам
- Фича для 5% оплат обещает рост на 0,5%, а тест различает только 3%
- Вклад трафика, конверсии и среднего чека в изменение выручки
- Время первого ответа поддержки сократилось в 10 раз, а оценки клиентов упали
Трекинг событий и данные для продуктовой аналитики
- В трекинге четыре разных события для нажатия на кнопку покупки
- Разработчик предлагает событие на каждую пару «способ оплаты — категория»
- Покупок в продуктовой аналитике на 7% меньше, чем в биллинге
- Отчёт о событиях, которых нет в трекинг-плане
- Проверка события на соответствие трекинг-плану
- Конверсия из просмотра каталога в регистрацию на сайте — 0,4%
- У части пользователей оплата в логе событий раньше добавления в корзину
- В новой версии приложения событие переименовали, а старые версии шлют прежнее имя
- В свойствах событий во внешний сервис аналитики уходят email и телефон
- Retention D14 у пользователей Safari втрое ниже, чем у Chrome
- Число уникальных людей после склейки анонимных и авторизованных событий
- Новой фичей пользуются 6% активных, но она есть только в свежей версии
Оценка эффекта без A/B-теста
- Новую главную выкатили 1 декабря, и заказы за декабрь выросли на 35% к ноябрю
- Фичу запустили в тот же день, что и рекламную кампанию
- Цену доставки в Казани меняют для всех сразу, A/B по пользователям невозможен
- Оценка эффекта методом разности разностей
- До запуска Казань росла на 3% в месяц, а контрольная Самара падала на 1%
- Проверка параллельности трендов на истории до запуска
- Время в приложении после новой ленты: +20% в первые две недели и +2% через два месяца
- Рекомендации работают на всех полгода, и никто не может сказать, сколько они приносят
- Контрольным городом для промо взяли спутник, из которого ездят в тестовый город
- Изменение в Москве: похожего города для сравнения нет
- Эффект запуска относительно прошлого года с поправкой на рост бизнеса
- Бонус получают клиенты с покупками от 10 000 ₽ в месяц: как оценить его эффект
Продвинутые эксперименты: CUPED, ratio-метрики, сетевые эффекты
- Какую ковариату взять для CUPED в тесте на выручку
- В 1000 A/A-прогонах p < 0,05 получилось в 17% случаев
- Тест агрессивных рекомендаций в корзине: что взять защитной метрикой
- Защитные метрики, просевшие сильнее допустимого
- CTR в тесте посчитан t-тестом, где каждый показ — отдельное наблюдение
- Поправка метрики пользователей по CUPED
- Корреляция выручки до и во время теста 0,7: сколько пользователей нужно с CUPED
- Тест онбординга на новых пользователях: у них нет истории для CUPED
- Два теста одновременно меняют кнопку и цену на одном экране оплаты
- Скидка пассажирам в тесте такси забирает машины у контрольной группы
- Линеаризация CTR для сравнения групп обычным t-тестом
- Изменение на шаге оплаты видят 8% участников теста, эффект на всех незначим