Курс «Симулятор A/B тестов. Базовая версия» — Валерий Бабушкин, Николай Назаров от школы: karpov.courses

[karpov.courses] Симулятор A/B тестов. Базовая версия (Валерий Бабушкин, Николай Назаров)

Категории: Программирование / karpov.courses / Валерий Бабушкин / Николай Назаров

Добавлено: 2022-11-05
Автор курса: Валерий Бабушкин, Николай Назаров
Сайт автора: Перейти
Доступ: Облако Mail / Yandex / Google
Скачать: PC / Smartphone / Tablet

Курс karpov.courses - Симулятор A/B тестов. Базовая версия, автор Валерий Бабушкин, Николай Назаров. Базовая версия
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
ПРОГРАММА КУРСА ://
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики

Изучим основы статистики, которых будет достаточно для прохождения курса.

Модуль 2 - Знакомство с платформой A/B-тестирования

В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.

Модуль 3 - Проверка гипотез

Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.

Модуль 4 - Дизайн эксперимента

Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.

Модуль 5 - Доверительные интервалы

Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.

Модуль 6 - Повышение чувствительности тестов

Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.

Модуль 7 - Выбор метрик

Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.

Модуль 8 - Cuped и стратификация

Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.

Модуль 9 - Множественное тестирование

Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.

Модуль 10 - Анализ метрик отношения

При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.

2760 ₽

karpov.courses: Симулятор аналитика. 2021 - Анатолий Карпов, Мария Сомова

Работа над реальным проектом под руководством ведущих аналитиков. Анатолий Карпов расскажет о курсе и его технических аспектах. Вы узнаете, что такое симулятор, какие задачи будете решать и в чём ценность симулятора. Программа напоминает стажировку, где вам придется разобраться с АБ тестами,

3480 ₽

Karpov.Courses: Инженер данных. Все части - Евгений Ермаков, Валерий Соколов

НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре. ДЛЯ КОГО ЭТОТ КУРС:

2720 ₽

karpov.courses: Продвинутая аналитика данных 2023. 1 месяц - Нерсес Багиян, Дмитрий Казаков

Цель нашего курса — помочь опытным аналитикам расширить свои компетенции и задать правильное направление для дальнейшего развития в профессии. Полученный практический опыт позволит углубить знания в области продуктовой аналитики и научиться подбирать правильные инструменты для решения задач в самых

2670 ₽

karpov.courses: Аналитик данных. Часть 4 из 5 - Анатолий Карпов

Для кого эта программа: - Старт карьеры. У вас нет опыта в анализе данных, но вы хотите начать карьеру в аналитике. Наш курс предполагает, что вы владеете математикой хотя бы на школьном уровне. Остальному научим мы! - Уже работаете в аналитике. Вы сможете дополнить арсенал своих знаний такими

2640 ₽

Автоматизация тестов для REST API при помощи Postman - Ольга Назина

Вы получите: материалы онлайн тренинга. О том, как настроить автоматизацию API-тестов. От первого теста до настройки CI. Главная фишка курса — МНОГО практики! На курсе 57 (!) обязательных домашних заданий. Обучение идет 14 недель (3,5 месяца) — 13 занятий и неделя в конце на «хвосты». Что будет: На

2820 ₽

Balun.Courses: Микросервисы, как в Bigtech-компаниях

НА КУРСЕ ТЫ ГЛУБОКО ПОГРУЗИШЬСЯ В МИКРОСЕРВИСЫ: Освоишь базовое использование протокола http в Golang-приложениях На практике научишься применять архитектурные подходы построения сервисов Освоишь работу с PostgreSQL, написав свои компоненты-заготовки, упрощающие дальнейшую разработку Поработаешь с

1110 ₽

Stepik: Поколение Python: курс для профессионалов - Тимур Гуев, Артур Харисов

«Поколение Python»: курс для профессионалов продолжает линию курсов «Поколение Python» адресован знающим базовые конструкции и типы данных языка Python знакомит с дополнительными возможностями языка Python В курсе рассматриваются даты и время, дополнительные типы коллекций, итераторы, генераторы,

1680 ₽

Udemy: Искусственный интеллект и Машинное обучение + Основы Python - Тимур Казанцев

[Udemy] Искусственный интеллект и Машинное обучение + Основы Python (Тимур Казанцев) Чему вы научитесь - Сможете различать между Машинным и Глубинным обучением и Нейронными сетями - Узнаете, в каких областях применяются технологии Искусственного интеллекта и Машинного обучения, и что ждет ИИ в

1110 ₽

Stepik: WEB Парсинг на Python - Павел Хошев

Чему вы научитесь Писать автолайкеры, автокликеры, авточеккеры, авторегеры; Работать с библиотекой BeautifulSoup; Собирать и обрабатывать огромное количество данных находящихся на веб-сайтах; Парсить данные с динамических сайтов; Собирать данные с Telegram чатовгрупппабликов; Собирать данные

1180 ₽

Udemy: JavaScript. Полный Курс По JavaScript. Включает 80 Задач - Богдан Стащук

Изучите и поймите все современные функции jаvascript, которые используются на практике чаще всего в курсе по jаvascript jаvascript - это самый популярный язык программирования в мире. На нем можно создавать как фронтенд, так и бэкенд приложения. Тем самым, выучив jаvascript, вы можете стать либо

1610 ₽

Udemy: Полный курс по JavaScript + React - с нуля до результата 2022 - Иван Петриченко

Требования Базовые навыки HTML, CSS (Крайне желательно пройти курс Web-разработчик, это первая часть) Любой редактор кода Желание выучить jаvascript Желательно базовое знание английского языка Описание: 13.04.2022 Вышло новое большое обновление курса! Включает в себя React 18-й версии. Этот курс

1110 ₽

Stepik: Математическая статистика

Математическая статистика Данный курс отлично подойдет для студентов, которые только начинают знакомство с математической статистикой. В каждом уроке есть минимум теоретического материалы и максимум практики, подробно разобраны различные типы задач на одну тему. О курсе Курс создан для студентов,

Валерий Бабушкин, Николай Назаров «Симулятор A/B тестов. Базовая версия» — karpov.courses слив скачать

Отзывы о курсе «Симулятор A/B тестов. Базовая версия» от Валерия Бабушкина, Николая Назарова

Купить другие курсы и тренинги от Валерия Бабушкина, Николая Назарова

Рекомендуемые курсы

Больше курсов по этой теме

Часто задаваемые вопросы про курс Валерия Бабушкина, Николая Назарова — «Симулятор A/B тестов. Базовая версия»

Популярные авторы и школы из категории "Программирование"