Никита Маршалкин |AB-тесты сложнее, чем кажется |Интервью |karpov.courses

Описание

Симулятор A/B-тестов: to.karpov.courses/EfZPIw

У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно:

● как работают системы сплитования;
● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть;
● особенности A/B-тестов в социальных сетях;
● где научиться мастерски проводить A/B-тестирование.

А/Б-тесты, подборка от Никиты:
1. Бомбическая книжка: https://experimentguide.com
2. Кладезь информации про А/Б в индустрии: https://exp-platform.com
3. Practitioner’s Guide to Statistical Tests: https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f
4. Пуассоновский бутстрап и бакетизация: https://research.google/pubs/pub43157/
5. Эксперименты в соцсетях: https://arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: https://research.fb.com/publications/top-challenges-from-the-first-practical-online-controlled-experiments-summit/
7. Туториал по построению оптимизации в b2c продуктах: https://onlineuserengagement.github.io/

Учитесь Data Science с нами: https://karpov.courses/

00:00 Что такое A/B-тесты
03:02 Системы сплитования
12:55 Экосистема A/B-тестов ВКонтакте
16:50 Тонкости тестирования на проде
18:55 Проверка гипотез на Big Data
23:25 Bootstrap
27:34 A/B-тесты без A/B-тестов
30:10 Ухудшающие A/B-тесты
31:55 Можно ли принимать решения без A/B-тестов ?
33:38 Кто те люди, которые занимаются A/B-тестами?
34:55 Материалы и знания, которых нигде нет!
.
.
.
.
#удаленнаяработа #аналитика #аналитик #аналитикданных #mlинженер #продакт #продактменеджер #abтесты #карповкурсы #сезонконтентаRUTUBE #karpovcourses #валерабабушкин #анатолийкарпов #толякарпов #работавit