to A/B or not to A/B: навіщо і як?

Використання A/B-тестування та експериментів стрімко зросло в останні роки, а вміння проводити тести є однією з ключових навичок успішного продакт-менеджера або продакт-дизайнера. Це передбачає опанування 6 важливих кроків для ефективного A/B-тестування, розуміння де та навіщо ми тестуємо, трохи знання статистики та сприйняття невдалих тестів як основи для подальшого аналізу та вдосконалення процесу тестування.

У цій лекції поговоримо, що потрібно тестувати та про що думати, коли розпочинаєте A/B тестування та експерименти.

Про що ще буде в лекції:

• чи завжди доречний A/B тест: user testing vs usability testing;
• що таке A/B тест та коли ми його проводимо;
• frequentists vs bayesian - в чому різниця підходів та який обрати вам;
• 6 етапів A/B тестування – від налаштування до інтерпретації результатів;
• типи тестів: multivariate, sequential, multi armed bandit, holdout test;
• що відрізняє хороший A/B тест від поганого.

Кому буде цікаво: продакт-менеджерам, продакт-дизайнерам та всім, хто хоче трохи детальніше розібратися зі специфікою A/B тестування.

Valentyna Baloshenko - Senior Product Manager в компанії Lyft, де створює карти для водіїв та пасажирів, а також відповідає за Customer Feedback платформу.