Симулятор A/B-тестов от Karpov.сourses

Name: Симулятор A/B-тестов от Karpov.сourses
Price: 55000 RUB
Availability: InStock

Научитесь проводить A/B-тесты, приносящие пользу бизнесу, на симуляторе.

Сертификат Для профессионалов Уроки в видеоформате Практика на реальных задачах Домашние задания с проверкой Сообщество студентов 6 часов в неделю Старт 27 августа

3 мес. Старт 27 августа Обновлено 09 июня

Дополнительная категория: 300

Программа курса · 16 модулей

01 Сможете распознавать ситуации, когда рост сводной метрики обманчив. Выстраивать порядок рассуждения при интерпретации дельты CTR в условиях колебаний. И на основе этого разграничивать корректные и некорректные объяснения смены лидера в A/B‑тес

02 Будете подбирать набор метрик под продуктовую гипотезу, разрешать конфликты между ними и проверять защитные метрики. А затем сможете аргументированно принять решение о «выкате».

03 Сможете определять соотношение сигнал/шум по готовым числам. Выявлять случаи, когда наблюдаемая разница объясняется случайной нестабильностью среднего. И объяснять, как размер выборки и окно агрегации влияют на стандартную ошибку.

04 По описанию продуктовой задачи сможете выбрать корректную единицу рандомизации, распознать в типовых кейсах spillover и сетевые эффекты. А также освоите отличие причинного вопроса от корреляционного.

05 Корректно сформулируете нулевую и альтернативную гипотезы до запуска теста. Сможете интерпретировать p‑value без типичных ошибок и оценивать риски ошибок I и II рода в контексте конкретной бизнес‑задачи.

06 Сможете рассчитать необходимый размер выборки и длительность теста под заданный минимальный эффект (MDE). Применять sequential‑подход для легитимного промежуточного анализа и предотвращать подглядывание (peeking). И определять ситуации, когда

07 По типу метрики и характеристикам распределения выберите подходящий критерий: t‑test, Welch, z‑test, χ², Манна-Уитни или bootstrap. Сможете применять дерево решений для выбора теста в типовых кейсах и выявлять ситуации, в которых выбранный кри

08 Сможете классифицировать метрику по типу: доля, поюзерная, ratio. Корректно рассчитывать дисперсию для ratio‑метрик через delta‑метод. И применять линеаризацию для CTR и аналогичных метрик.

09 Проверите баланс групп и SRM до начала анализа. Попробуете выявить смещение при распределении (assignment bias) в структуре эксперимента. А также заполните чек‑лист дизайна эксперимента перед его запуском.

10 Сможете интерпретировать результаты A/A‑теста и распределение p‑value под нулевой гипотезой. Формулировать корректную интерпретацию доверительного интервала для размера эффекта. И разграничивать статистическую и бизнес‑значимость при принятии

11 Примените стратификацию и пост‑стратификацию, реализуете метод CUPED с историческими ковариатами и попробуете скомбинировать его со стратификацией. Потренируетесь в очистке данные от выбросов перед анализом.

12 Сможете по числу одновременных тестов выбирать корректную поправку на множественные сравнения: Бонферрони или Бенджамини-Хохберга. Определять ситуации, требующие switchback или geo‑эксперимента. И выявлять нарушения ортогональности слотов.

13 По описанию продуктовой задачи попробуете выбрать между классическим A/B‑тестом и многоруким бандитом. Сможете интерпретировать апостериорное распределение (P (B>A)) для принятия решений и распознавать паттерны поведения Thompson sampling и UC

14 Сможете подобрать метод квазиэксперимента под задачу: Diff‑in‑Diff, Causal Impact или PSM. А затем применить их к реальным данным. Сможете оценивать пределы достоверности полученного причинного вывода.

15 Проведете эксперимент end‑to‑end: проверите SRM и баланс, выберите метрики и критерий, рассчитаете эффект и доверительные интервалы для ratio‑метрик. Будете интерпретировать результаты с учётом защитных метрик и аргументированно обосновывать р

16 Познакомитесь с архитектурой автоматизированной системы оценки A/B‑тестов. Узнаете, как с помощью ИИ-инструмента генерировать аналитический пайплайн под типовые шаги анализа. Сможете проектировать прототип системы от загрузки данных до отчёта.

Промокоды

1 Нажмите «Получить» — код скопируется, откроется сайт школы · 2 Заполните заявку на сайте школы — это засчитывает скидку · 3 Введите код в поле при оформлении, если поля нет — назовите менеджеру

Karpov.сourses

С 2020 года

Karpov.courses - ваш путь в Data Science. Обучаем с нуля востребованным IT-профессиям и помогаем построить новую карьеру. 89% наших выпускников уже нашли интересную работу.

Все курсы Karpov.сourses