Симулятор A/B-тестов
Трёхмесячный симулятор karpov.courses по A/B-тестированию для аналитиков и продуктовых специалистов. Весь курс идёт на одном продукте: данные меняются, контекст меняется, а вы принимаете решения и видите их последствия. Практика в Jupyter Notebook на Python, финальный проект с мгновенной оценкой, сертификаты на русском и английском.
Мнение редакции
Тема курса узкая, и в этом его главная ценность. A/B-тесты обычно занимают две лекции в общем курсе аналитики, после чего человек уходит в работу и через полгода выкатывает фичу по выросшему CTR, не понимая, что тест ничего не доказал. Здесь на эту тему выделено три месяца и полтора десятка блоков, от расчёта мощности до квазиэкспериментов.
Устройство курса удачное: вы работаете с одним продуктом от начала до конца. Каждый раз появляются новые данные, меняется контекст, вы принимаете решение и видите последствия. Это принципиально ближе к работе, чем набор разрозненных задач: в реальности аналитик тоже живёт внутри одного продукта и накапливает знание о нём.
Практика идёт в Jupyter Notebook на Python со стандартным стеком: pandas, numpy, matplotlib, seaborn, scipy.stats, statsmodels. Обратная связь на задания приходит сразу после отправки, финальный проект оценивает GPT-грейдер. Плюс к этому закрытый чат в «Пачке», где отвечают команда курса и преподаватель, и виртуальный помощник по платформе.
Порог входа реальный, хотя школа его смягчает формулировкой «всё необходимое для старта у вас есть». Разделы про дельта-метод, линеаризацию ratio-метрик, CUPED и sequential-анализ не берутся с нуля: нужен рабочий Python и понимание базовой статистики. Новичку курс не по адресу, а вот аналитику, который уже запускает тесты по инструкции и не понимает их устройство, он закрывает самый дорогой пробел.
Плюсы
- весь курс идёт на одном сквозном продукте: решения накапливаются и дают последствия
- разобраны дорогие ошибки: peeking, неверный размер выборки, конфликт целевых и защитных метрик
- продвинутые темы редко встречаются в общих курсах: CUPED, стратификация, дельта-метод, линеаризация
- отдельный блок про квазиэксперименты Diff-in-Diff и Causal Impact, когда A/B неприменим
- обратная связь на задание приходит сразу после отправки
- нагрузка 6-8 часов в неделю и последовательное открытие уроков без жёсткого расписания
Минусы
- нужен рабочий Python и база по статистике: с нуля курс не берётся
- финальный проект оценивает GPT-грейдер, а не живой ревьюер
- документ это сертификат школы, без государственного статуса
- тема узкая: как единственный курс по аналитике не годится
Кому подходит
Продуктовым и продуктово-ориентированным аналитикам
Тем, кто уже запускает эксперименты, но делает это по инструкции и не может защитить результат перед продактом.
Аналитикам данных с рабочим Python
Практика идёт в Jupyter Notebook с pandas, numpy, scipy.stats и statsmodels: код нужно писать, а не смотреть.
Продакт-менеджерам, которые читают результаты тестов
Курс объясняет, почему рост общего CTR не всегда повод выкатывать фичу, и что спрашивать у аналитика.
Тем, кто упирается в статистику на собеседовании
Мощность, MDE, peeking, ratio-метрики и CUPED это стандартный набор вопросов на позиции продуктового аналитика.
Кому курс не подойдёт
- новичкам без Python и базовой статистики: курс сразу идёт на прикладном уровне
- тем, кому нужен широкий курс по аналитике: тема здесь одна
- тем, кто ждёт живого ревью финальной работы: её оценивает GPT-грейдер
Чем отличается от других курсов направления
В подборке направления рядом стоят длинные профессии: «Инженер данных» у TeachMeSkills за 100 000 рублей, «Инженер данных с нуля» и «ML-инженер» у Яндекс Практикума за 169 500 и 192 000 рублей. Все они ведут в специальность целиком и дают A/B-тесты одним разделом на пару недель. Симулятор A/B-тестов за 55 000 рублей делает ровно наоборот: берёт этот раздел и разворачивает его на три месяца до дельта-метода, CUPED и квазиэкспериментов. Как первый курс он не годится, зато закрывает тему на уровне, до которого профессиональные программы не доходят.
Обзор курса
Зачем нужен отдельный курс про тесты
Школа объясняет назначение прямо: A/B-тесты помогают оптимизировать продукт и маркетинг, но только если поставлены корректно. Программа построена вокруг ошибок, которые дороже всего стоят бизнесу: подглядывание в промежуточные результаты, неверный размер выборки, решение по одной метрике при просадке защитной, применение теста там, где он неприменим.
Как устроен сквозной продукт
На протяжении всего курса вы работаете с одним продуктом. Появляются новые данные, меняется контекст, вы принимаете решения и наблюдаете их последствия. Такой формат ближе к работе аналитика, чем набор независимых задач: контекст накапливается, и ошибка на четвёртой неделе аукается на восьмой.
Что внутри программы
Полный пайплайн проведения теста: постановка гипотезы, выбор метрик, расчёт мощности и размера выборки под заданный минимальный эффект (MDE), sequential-подход для легитимного промежуточного анализа. Дальше идут распределение трафика, Thompson sampling и UCB на графиках, анализ ratio-метрик вроде CTR через дельта-метод и линеаризацию, ускорение тестов через CUPED и стратификацию. Отдельный блок про то, когда A/B неприменим: квазиэксперименты Diff-in-Diff и Causal Impact.
Как устроена нагрузка
Курс идёт 3 месяца, рекомендуемая нагрузка 6-8 часов в неделю: изучение теории, квизы, практические задания в Jupyter Notebook и работа над финальным проектом. Формат самостоятельного прохождения по расписанию: уроки открываются последовательно, но внутри недели вы распоряжаетесь временем сами. Совмещение с работой заявлено прямо.
Кто отвечает на вопросы
Обратная связь на практику приходит сразу после отправки задания. В закрытом чате в «Пачке» отвечают команда курса и преподаватель, по вопросам платформы работает виртуальный помощник. Финальный проект оценивает GPT-грейдер, что даёт мгновенный результат, но не заменяет живого ревью архитектуры решения.
Деньги
55 000 рублей одним платежом вместо 77 200. В рассрочку от 3 217 рублей в месяц при сроке 24 месяца, рассрочка беспроцентная от партнёров. При единовременной оплате заявлена скидка до 16 %. Работает налоговый вычет до 13 %: у школы лицензия № Л035-01298-77/00179689. Возврат полной стоимости в первые две недели, дальше за вычетом пройденных уроков. Обучение может оплатить работодатель, для компаний есть оптовая покупка.
Итог
Узкий курс, который стоит своих денег для практикующего аналитика: после него тесты перестают быть ритуалом. Начинающему он бесполезен, потому что три месяца уйдут на то, чтобы разобрать инструмент, которым ещё нечего измерять.
Программа курса
1Зачем нужны A/B-тесты
2Целевые и защитные метрики
3Мощность теста, размер выборки и peeking
4Распределение трафика
5Ratio-метрики: дельта-метод и линеаризация
6Ускорение тестов: CUPED и стратификация
7Когда A/B недостаточно: квазиэксперименты
8Финальный проект
Чему вы научитесь
- рассчитывать размер выборки и длительность теста под заданный MDE
- применять sequential-подход и не подглядывать в промежуточные результаты
- разрешать конфликты между целевыми и защитными метриками
- анализировать ratio-метрики через дельта-метод и линеаризацию
- ускорять тесты с помощью CUPED и стратификации
- распределять трафик через Thompson sampling и UCB
- проводить квазиэксперименты Diff-in-Diff и Causal Impact
- определять ситуации, когда A/B-тест неприменим
Как проходит обучение
Старт вместе с потоком
Поток стартовал 27 августа, длительность курса 3 месяца, присоединиться можно и после старта.
Уроки открываются последовательно
Формат самостоятельного прохождения по расписанию: внутри недели время распределяете сами.
Практика в Jupyter Notebook
Работа на Python с pandas, numpy, matplotlib, seaborn, scipy.stats и statsmodels.
Мгновенная обратная связь
Результат по заданию приходит сразу после отправки, теория закрепляется квизами.
Чат с командой курса
В закрытом чате в «Пачке» отвечают команда курса и преподаватель, по платформе помогает виртуальный помощник.
Финальный проект
Сквозная работа по всему пайплайну теста, оценку даёт GPT-грейдер.
Часто задаваемые вопросы
Что нужно знать до старта?
Сколько времени нужно на учёбу?
Можно ли совмещать с работой?
Какие инструменты используются?
Кто проверяет работы?
Какой документ выдают?
Сколько стоит и есть ли рассрочка?
Можно ли вернуть деньги и получить вычет?
Отзывы о курсе «Симулятор A/B-тестов»
Оставить отзыв о курсе
Расскажите, как проходило обучение: что понравилось, что нет, помог ли курс в работе. Публикуем после проверки, рекламные тексты и анонимные жалобы без подробностей не пропускаем.
Это отзывы о других программах школы karpov.courses: они говорят о школе в целом, а не об этом курсе.
Все отзывы школы собраны на её странице.
