- Курс даёт обзорное представление о методологиях тестирования продуктовых гипотез.
- Материалы собраны из открытых источников и структурированы как учебный план.
- Предполагается наличие предварительных знаний (базовая статистика не рассматривается подробно).
Целевая аудитория:
- Студенты бакалавриата и магистратуры, связанные с аналитикой данных и data science.
- Начинающие product/data analysts и data scientists.
- Специалисты, работающие с A/B-тестами и решениями на основе данных.
После прохождения курса вы сможете:
- Грамотно планировать запуск A/B-тестов.
- Корректно анализировать и защищать результаты экспериментов.
- Использовать альтернативные дизайны для нестандартных сценариев.
| № | Блок | Мини-блок | Тема | Время (ч) | Формат |
|---|---|---|---|---|---|
| 1 | A/B тестирование | Основы A/B тестирования | Статистика в Python. Бутстрап | 1.5 | Лекция |
| 2 | A/B тестирование | Основы A/B тестирования | Введение в тестирование гипотез и дизайн A/B | 3 | Лекция + семинар |
| 3 | A/B тестирование | Основы A/B тестирования | Множественное тестирование гипотез | 1.5 | Лекция |
| 4 | A/B тестирование | Основы A/B тестирования | Методы ускорения A/B тестов | 1.5 | Лекция |
| 5 | Квази-эксперименты | Альтернатива A/B тестам | Sequential Testing | 1.5 | Лекция |
| 6 | Квази-эксперименты | Альтернатива A/B тестам | Байесовские A/B тесты | 1.5 | Лекция |
| 7 | Квази-эксперименты | Альтернатива A/B тестам | Многорукие бандиты | 1.5 | Лекция |
| 8 | Квази-эксперименты | Альтернатива A/B тестам | Switchback тестирование | 1.5 | Лекция |
| 9 | Квази-эксперименты | Причинно-следственный анализ | Causal Discovery. Graphical Causal Models (GCM) | 1.5 | Лекция |
| 10 | Квази-эксперименты | Причинно-следственный анализ | Causal Inference. Potential Outcome Framework (Basics) | 1.5 | Лекция |
| 11 | Квази-эксперименты | Причинно-следственный анализ | Causal Inference. Potential Outcome Framework (Advanced) | 1.5 | Лекция |
| 12 | A/B культура | A/B культура | Мета-анализ A/B тестов | 1.5 | Лекция |
| 13 | A/B культура | A/B культура | A/B тесты в компаниях | 1.5 | Лекция |
| 14 | Практические занятия | Открытое чтение | Мини-доклады по тестированию | 3 | Воркшоп |
| 15 | Практические занятия | Финальное оценивание | Мок-собеседование по кейсу | 3 | Зачёт / экзамен |
- Базовые знания статистики (меры центральной тенденции, распределения, тестовые статистики).
- Опыт работы с Python и понимание кода.
- Базовые знания машинного обучения.
| № | Тема | Объём |
|---|---|---|
| 1 | Тестирование в оффлайн ( 1, 2, 3, 4 ) | 60 минут |
| 2 | Interleaving ( 1, 2, 3, 4 ) | 20–40 минут |
| 3 | Uplift моделирование ( 1, 2, 3 ) | 60–90 минут |
| 4 | Современные проблемы A/B тестирования ( 1 ) | 30-40 минут |
| 5 | Сетевые эффекты ( 1 ) | ??? |