A/B-тестирование и эксперименты для стриминга

TL;DR

A/B-тест – это контролируемый эксперимент, который доказывает, что изменение вашего стримингового продукта действительно помогло, а не полагается на чьё-то мнение или на график дня запуска: вы случайно делите зрителей на группы, показываете новую версию одной и старую – другой и измеряете разницу по метрике, о которой договорились заранее. На масштабе стриминга важна не доля кликов, а watch time и удержание месяц-к-месяцу – Netflix оценивает изменения ранжирования по часам стриминга подписчиков и удержанию подписки, то есть по исходам, которые реально платят по счетам (Netflix Technology Blog, 2017). Две специфичные для стриминга техники делают эксперименты быстрее и безопаснее: interleaving, который сравнивает два ранжирования рекомендаций в одном смешанном ряду и приходит к надёжному ответу при более чем в 100 раз меньшем числе зрителей, чем обычный A/B-тест (Netflix Technology Blog, 2017; Chapelle et al., 2012), и sequential-тестирование, которое позволяет следить за раскаткой непрерывно и рано остановить вредное изменение без статистической ловушки «подглядывания» (Johari et al., 2017). Самая дорогая ошибка – объявить победителя в тот момент, когда результат впервые выглядит значимым, и именно эту дисциплину призвана привить эта статья.

Почему это важно

На большом каталоге каждое изменение рекомендаций, домашнего экрана, плеера, флоу регистрации или страницы цен стоит больших объёмов watch time и удержания – а на масштабе один процент улучшения это миллионы часов, так что угадывать, какие изменения помогают, а какие тихо вредят, вы не можете себе позволить. Контролируемый эксперимент – единственный надёжный способ отличить реальное улучшение от случайного шума, а проводить его хорошо на масштабе – это сама по себе инженерная дисциплина с платформой за спиной. Эта статья – для основателя, продакт-менеджера или CTO стриминга, которому нужно решить, что тестировать, как долго держать тест, какой метрике доверять и сколько экспериментальной машинерии стоит строить. Вы не будете выводить статистику руками, но вам предстоит задать правила – что считается победой, когда тесту разрешено остановиться и какие числа не имеют права ухудшаться, – и понять, почему изменение, которое «очевидно» улучшает продукт, так часто не переживает честную проверку.

Что такое A/B-тест на самом деле

Начнём с самой простой формулировки. A/B-тест – также называемый контролируемым экспериментом или сплит-тестом – берёт людей, пользующихся вашим продуктом, случайно делит их на группы, даёт каждой группе свою версию одной вещи и затем сравнивает выбранный исход между группами. Одна группа, контроль («A»), видит текущий продукт. Другая, тритмент («B»), видит изменение. Поскольку единственное систематическое различие между группами – само изменение, любую надёжную разницу в исходе можно отнести на его счёт. В этом вся идея, и её сила в том, что она заменяет мнение доказательством.

Почему это так важно, объясняет проблема, которую литература об экспериментах назвала без обиняков: HiPPO, «Highest Paid Person's Opinion» – мнение самого высокооплачиваемого человека в комнате (Kohavi et al., 2009). Без экспериментов продуктовые решения по умолчанию принимает тот, кто старше или увереннее всех, а интуиция о том, чего хотят зрители, ошибается гораздо чаще, чем команды ожидают. Дисциплина A/B-тестирования существует ровно для того, чтобы решали данные, а не иерархия, – и общий вывод компаний, которые тестируют много, состоит в том, что большая доля изменений, в которых все были уверены, не даёт ничего или вредит.

Тихий герой здесь – рандомизация. Полезная аналогия: если вы хотите узнать, работает ли новое удобрение, не стоит сыпать его на солнечное поле, а старое оставлять на тенистом, – тогда вы не отличите удобрение от солнца. Вы разбрасываете оба варианта случайно по одному и тому же полю, чтобы солнце, почва и вода усреднились между ними. Случайное распределение зрителей делает ту же работу – оно усредняет возраст, устройство, страну, вкус и долю «тяжёлых» зрителей против «лёгких», так что группы становятся сопоставимыми, и единственное, что остаётся объяснять разницу, – это изменение.

Метрика, которая важна: оптимизируйте watch time, а не клики

Самое важное решение в эксперименте принимается до его старта: какой исход вы измеряете? Литература об экспериментах называет это Overall Evaluation Criterion, или OEC – единственную согласованную меру того, достигло ли изменение цели (Kohavi et al., 2009). Выбрать его правильно сложнее, чем кажется, и важнее любой статистической детали, потому что тест оптимизирует ровно то, на что вы его нацелили, включая неправильную цель.

Для стримингового продукта ловушка – это клик. Клики, тапы и «запуски просмотра» легко измерить, и они ощущаются как успех, поэтому команды за них хватаются – а изменение, настроенное на максимум кликов, радостно выиграет по кликам, проигрывая по всему, что платит по счетам. Более кричащая обложка зарабатывает тап и потом разочаровывает. Ряд кликбейтных тайтлов поднимает запуски и снижает watch time, который эти запуски порождают. Лекарство – привязать OEC к исходу, который вам реально важен: watch time и удержание в долгую. Netflix прямо говорит, что его ключевые метрики A/B-оценки – это «удержание подписки месяц-к-месяцу и часы стриминга подписчиков», устойчивые сигналы удовлетворённости, а не лёгкие прокси (Netflix Technology Blog, 2017). Это та же дисциплина «watch time важнее кликов», которая управляет тем, как настраивают рекомендации и мерчандайзинг: клик, ведущий к отскоку за тридцать секунд, – это провал в костюме победы.

Удержание – самый верный OEC и одновременно самый болезненный, потому что он медленный: эффект на удержание месяц-к-месяцу нельзя узнать за вечер. Это напряжение и порождает почти всё ремесло, о котором речь дальше: команды используют более быстрые и чувствительные прокси-метрики (вовлечённость, часы стриминга за несколько недель), чтобы двигаться быстро, и при этом проверяют важные изменения против медленной метрики удержания, которая решает, останутся ли подписчики на самом деле.

В каждом стриминговом эксперименте должны присутствовать три семейства метрик, и если держать их раздельно, это предотвращает большинство катастроф.

Таблица 1. Три роли, которые метрика играет в стриминговом эксперименте. Главная метрика (OEC) – это то, что вы оптимизируете; вторичные объясняют движение; guardrail-метрики – это растяжки-предохранители. Изменение рекомендаций, поднявшее часы стриминга, но толкнувшее вверх долю ребуферинга, провалило guardrail и не должно выходить в прод – вовлечённость, купленная ценой худшего качества потока, не настоящая победа (Kohavi, Tang & Xu, 2020).

Нажмите, чтобы увеличить

Строка guardrail заслуживает акцента, потому что именно здесь стриминг отличается от обычного веб-A/B-теста. Изменение плеера или лесенки кодирования может поднять одну метрику, тихо ухудшая качество воспроизведения. Поэтому числа качества опыта – как долго видео стартует, как часто оно останавливается на ребуферинг, как часто падает приложение – стоят рядом с OEC как guardrails, способные наложить вето на релиз, каким бы хорошим ни выглядел заголовочный показатель. Точные определения этих метрик качества – время старта, доля ребуферинга и прочие – разобраны в стриминговом справочнике по метрикам качества опыта (QoE); здесь же важно лишь то, что они обязаны присутствовать в каждом эксперименте в роли guardrails.

Какой объём теста и на сколько: арифметика мощности

У двух вопросов, которые задаёт каждая команда, – «сколько зрителей нам нужно?» и «как долго держать тест?» – есть реальный ответ, и пройти его один раз достаточно, чтобы снять почти всю мистику. Движущая сила – статистическая мощность: способность теста уловить истинную разницу заданного размера, не дав случайному шуму себя обмануть. Нужный размер выборки задают три вещи: насколько шумна метрика (её дисперсия), насколько малый эффект вы хотите уметь поймать (минимально детектируемый эффект, или MDE) и насколько уверенным вы хотите быть.

Широко используемое эмпирическое правило из литературы об экспериментах схватывает это (Kohavi et al., 2009). Для теста со стандартными настройками – 95% доверия и 80% мощности – число зрителей на группу примерно равно:

n ≈ 16 × дисперсия / (размер эффекта)²

Сделаем это конкретным. Допустим, ваш прокси-OEC – «доля новых аккаунтов, запустивших квалифицирующий просмотр в первую неделю», и текущая ставка – 60%. Для доли «да/нет» вроде этой дисперсия равна p × (1 − p) = 0,60 × 0,40 = 0,24. Скажем, вы хотите уловить улучшение на 1 процентный пункт в абсолюте – сдвиг с 60% до 61%, – так что размер эффекта 0,01, а его квадрат 0,0001. Тогда:

n ≈ 16 × 0,24 / 0,0001 = 38 400 зрителей на группу

То есть около 76 800 зрителей всего, чтобы надёжно поймать сдвиг на один пункт. Из этой арифметики следуют два урока, и оба формируют реальное планирование. Первый: меньшие эффекты стоят кардинально дороже – поскольку размер эффекта возводится в квадрат, уловить вдвое меньший эффект (0,5 пункта вместо 1) требует вчетверо большей выборки – около 153 600 на группу. Второй: размер выборки напрямую переводится в длительность – если 76 800 зрителей нужного типа проходят через тестируемую поверхность за неделю, тест займёт неделю; если лишь десятая часть, он растянется на два с лишним месяца. Вот почему маленькая платформа не может гнать тот поток экспериментов, что большая, – и почему техники из следующих двух разделов, которые покупают чувствительность, не роскошь, а разница между «учимся быстро» и «едва учимся вообще».

Кардинальный грех: подглядывание и как его лечит sequential-тест

Вот самая частая и самая дорогая ошибка во всём экспериментировании, и это проблема дисциплины, а не математики. Команда запускает тест, спланированный на две недели, ежедневно смотрит дашборд, видит, как на четвёртый день результат пересекает линию «статистической значимости», и выкатывает «победителя». Это называется подглядыванием (peeking), и оно тихо разрушает надёжность результата (Johari et al., 2017).

Почему оно ломается, стоит понять простыми словами. Обещание стандартного A/B-теста – «лишь 5% шанс ложной тревоги» – держится, только если вы смотрите один раз, в заранее назначенном конце. Каждый лишний раз, когда вы подглядываете и позволяете себе остановиться, вы даёте случайности ещё один шанс по удаче забрести за линию значимости. Подглядывайте каждый день две недели – и ваша реальная доля ложных срабатываний уже не 5%, а гораздо выше; вы будете «находить» победы, которые суть чистый шум, и выкатывать изменения, не дающие ничего. Наивное лекарство – «просто не смотрите» – для стримингового бизнеса нежизнеспособно: вредную раскатку надо ловить быстро.

Настоящее лекарство – другой статистический метод, созданный для непрерывного мониторинга: sequential-тестирование (последовательное тестирование). Там, где классический тест валиден лишь в единственной фиксированной точке, sequential-тест даёт always-valid результаты – p-значения и доверительные интервалы, которые остаются достоверными, как бы часто вы ни смотрели, – так что вам разрешено наблюдать непрерывно и остановиться, как только доказательства убедительны, в любую сторону (Johari et al., 2017). Цена скромна: чтобы оставаться честным при постоянном подглядывании, метод требует чуть более сильных доказательств перед объявлением победы. Выигрыш для стриминга велик: вы можете рано завершить явно выигрывающий тест и выкатить его – и, что важнее, поймать изменение, которое вредит воспроизведению, и убить его за часы, а не за недели. Netflix построил ровно такую sequential-методологию специально для мониторинга безопасных раскаток и защиты стримингового опыта в реальном времени – она рано останавливает регрессии, контролируя ложные тревоги (Netflix Technology Blog, 2023).

Нажмите, чтобы увеличить

Если вы вынесете из этой статьи одно операционное правило, пусть это будет оно: определите правило остановки до старта теста. Либо заранее зафиксируйте размер выборки и длительность и смотрите только в конце, либо примите sequential-метод, рассчитанный на непрерывный мониторинг. Чего нельзя делать никогда – запустить тест с фиксированным горизонтом и остановить его рано, потому что он «хорошо выглядит»: это и есть подглядывание, и оно фабрикует победы, которых нет.

Interleaving: сравнение ранжирований на доле трафика

Рекомендации создают для A/B-тестирования особую проблему. Улучшения алгоритма ранжирования часто малы, но ценны, и по мере того как система становится лучше, уловить следующее улучшение на фоне шума часов стриминга требует всё бóльших выборок и всё более длинных тестов (Netflix Technology Blog, 2017). Прогонять каждого кандидата-ранкера через полный A/B-тест означало бы попробовать за год лишь горстку идей. Стриминговые платформы решают это техникой, заимствованной из исследований поисковых систем: interleaving (чередование).

Идея – прямая аналогия со слепой дегустацией. Чтобы узнать, что популяция предпочитает – Coke или Pepsi, – медленный путь это разделить людей надвое, дать одной группе только Coke, другой только Pepsi и сравнить, кто сколько выпил; но потребление так дико разнится от человека к человеку, что сигнал тонет в шуме (Netflix Technology Blog, 2017). Острый путь – предложить каждому оба, без этикеток, и смотреть, к чему он потянется. Убрав межличностную вариацию, предпочтение проступает при куда меньшем числе дегустаторов. Interleaving делает стриминговую версию: вместо того чтобы показать ранкер A одной группе, а ранкер B – другой, он смешивает оба ранжирования в один ряд, показанный одному зрителю, и затем смотрит, чьи рекомендации заработали просмотр.

Смешивание должно быть честным, и метод, которым пользуется большинство платформ, – team-draft interleaving (чередование по принципу набора команды), работающий ровно как два капитана, набирающие дворовую команду (Chapelle et al., 2012). Жребий решает, кто выбирает первым; затем два ранкера чередуются, каждый добавляет свой наивысший ещё не взятый тайтл, пока ряд не заполнится. Поскольку алгоритмы ходят по очереди, каждый одинаково вероятно займёт привлекающие внимание левые слоты – что нейтрализует position bias, сильную склонность зрителей запускать то, что лежит слева, независимо от качества (Netflix Technology Blog, 2017). Затем платформа относит каждый просмотр к тому ранкеру, который добавил этот тайтл, и подсчитывает, чей ранкер выиграл часы зрителя.

Нажмите, чтобы увеличить

Выигрыш драматичен. Netflix сообщает, что interleaving надёжно определяет лучший ранкер, требуя при этом в 100+ раз меньше подписчиков, чем самая чувствительная A/B-метрика, до той же уверенности, и что предпочтение по interleaving сильно предсказывает, как ранкер позже покажет себя в полном A/B-тесте (Netflix Technology Blog, 2017). Вот почему interleaving используют как первый этап двухэтапного процесса: быстрый отсеивающий раунд, заканчивающийся за дни, сужает большое поле идей до немногих самых перспективных, и только они идут дальше – в полный A/B-тест, измеряющий медленные решающие исходы вроде удержания.

Нажмите, чтобы увеличить

У interleaving есть один важный предел, и назвать его – значит остаться честным: он измеряет только относительное предпочтение между двумя ранжированиями, а не абсолютное изменение бизнес-метрики вроде удержания (Netflix Technology Blog, 2017). Он говорит вам, что зрители предпочитают рекомендации ранкера B; он не может сказать вам, что ранкер B дольше удерживает подписчиков. Именно поэтому и существует более медленный второй этап – A/B. Interleaving делает вас быстрым; A/B-тест делает вас уверенным.

Когда рандомизировать нельзя: квази-эксперименты

Некоторые стриминговые изменения нельзя расщепить по отдельным зрителям. Если вы переключаете сеть доставки контента (CDN) в одном регионе, затронуты сразу все тамошние зрители – чистой случайной контрольной группы по соседству нет. Для таких случаев команды применяют квази-эксперименты: сравнения, приближающие контролируемый тест без настоящей рандомизации по зрителю, – например, сравнивают изменённый регион с похожим неизменённым за тот же период, или с его собственным поведением до и после, со статистическими поправками на различия. Квази-эксперименты слабее рандомизированного A/B-теста, потому что разницу может объяснять не только изменение, поэтому они – запасной вариант, когда рандомизация действительно невозможна (смена инфраструктуры, изменение цен, запуск на весь регион), а не выбор по умолчанию. Честный ход – рандомизировать на уровне отдельного зрителя везде, где можно, и относиться к квази-эксперименту как к лучшему доступному доказательству там, где нельзя.

Таблица 2. Инструментарий стримингового экспериментатора и когда какой метод верен. Классический A/B-тест – решающий инструмент; interleaving – быстрый фильтр для ранжирований; sequential-тест делает непрерывный мониторинг честным, а раскатки – безопасными; квази-эксперименты – запас, когда рандомизация по зрителю невозможна. Зрелые платформы используют все четыре, выбирая по тому, что меняется и как быстро нужен ответ.

Снижение дисперсии: больше пользы из тех зрителей, что у вас есть

Есть ещё один рычаг, который стоит знать, потому что он напрямую атакует арифметику размера выборки из предыдущего раздела. Вспомните: число нужных зрителей растёт вместе с дисперсией метрики – чем шумнее метрика, тем больше зрителей нужно. Техники снижения дисперсии (variance reduction) ужимают этот шум, так что то же число зрителей даёт более чёткий ответ, либо тот же ответ приходит раньше.

Самый известный метод – CUPED («Controlled-experiment Using Pre-Experiment Data», эксперимент с использованием данных до его начала). Интуиция в том, что поведение зрителя до эксперимента многое говорит о его поведении во время: тяжёлый зритель в прошлом месяце – тяжёлый зритель и в этом, в какую бы тестовую группу он ни попал. Вычитая эту предсказуемую, уже существовавшую часть поведения каждого зрителя, CUPED убирает шум, не имеющий отношения к проверяемому изменению (Deng et al., 2013). В исходной работе по экспериментальной системе Bing CUPED примерно вдвое срезал дисперсию ключевых метрик – это эквивалентно тому, чтобы прийти к тому же выводу примерно с половиной зрителей или за половину времени (Deng et al., 2013). Для стриминговой платформы с конечным трафиком это разница между «провести вдвое больше экспериментов» и «оставить хорошие идеи непроверенными». Снижение дисперсии не меняет что вы измеряете; оно делает измерение эффективнее – а на продукте с ограниченным трафиком это само по себе конкурентное преимущество.

Экспериментальная платформа, которая нужна стриминговому продукту

Провести один эксперимент – это проект; провести сотни – это платформа. По мере того как экспериментов становится больше – крупные стриминговые сервисы гоняют тысячи в год, в основном короткоживущих, – узким местом перестаёт быть статистика и становится инфраструктура (Netflix Technology Blog, 2016). Стриминговая экспериментальная платформа обязана хорошо делать несколько вещей. Она должна распределять зрителей по экспериментам согласованно, чтобы зритель видел один и тот же вариант в каждой сессии, а пересекающиеся тесты не загрязняли друг друга. Она должна отслеживать набор – сколько зрителей нужного типа собрал каждый тест и, значит, сколько ещё до вывода (Netflix Technology Blog, 2016). Она должна считать метрики – OEC, вторичные и guardrails – из тех же событийных данных, что кормят остальной продукт, то есть из ровно того конвейера сбора событий и данных, от которого зависит персонализация. И она должна подавать результаты так, чтобы защитить не-статистиков от ловушек, особенно от подглядывания, – в идеале встроив правило остановки в сам инструмент, а не полагаясь на дисциплину.

Один организационный момент важен не меньше любой фичи. Задача платформы – сделать правильный анализ лёгким: по умолчанию предлагать достоверный метод, флагать sample-ratio mismatch (когда группы разделились не по плану – классический признак сломанного эксперимента), автоматически применять guardrails и подавать always-valid результаты, чтобы продакт-менеджер не мог случайно «подсмотреть» себе ложную победу. Платформа, делающая хорошее экспериментирование лёгким, – вот что позволяет стриминговой компании тестировать десять тысяч идей в год и доверять ответам, и это реальный источник устойчивого преимущества в рекомендациях и discovery.

Частая ошибка: выкатить novelty effect

Помимо подглядывания, ловушка, которая ловит и опытные команды, – novelty effect (эффект новизны, также эффект первенства). Когда вы меняете что-то видимое – новую раскладку домашнего экрана, переделанный контрол плеера, – существующие зрители реагируют на это потому что оно новое: жмут незнакомую кнопку, исследуют переставленные ряды, и вовлечённость взлетает. Прогоните короткий тест – и вы измерите этот всплеск и выкатите изменение, а потом будете смотреть, как прирост испаряется через недели, едва новизна сойдёт и поведение вернётся к норме. Бывает и наоборот: по-настоящему лучшее изменение может проиграть поначалу, потому что постоянные зрители ненадолго дезориентированы. Защита – держать эксперименты с видимыми изменениями достаточно долго, чтобы новизна угасла, и смотреть, как эффект ведёт себя во времени, а не на единственный ранний снимок: изменение, чей прирост тает день ото дня, – это novelty effect, а изменение, чей прирост держится, – реальное (Kohavi, Tang & Xu, 2020). Это ещё одна причина, по которой инстинкт «остановить рано, раз хорошо выглядит» так опасен: рано – это ровно тогда, когда новизна громче всего.

Где здесь Фора Софт

Экспериментирование – это дисциплина масштаба прежде, чем дисциплина статистики: ценность одного процента улучшения огромна на объёме, но найти эти улучшения, не дав шуму или новизне себя обмануть, способна только платформа, гоняющая много достоверных тестов. За 250+ реализованных проектов для 400+ клиентов с 2005 года в видеостриминге, OTT/Internet TV, e-learning и видеонаблюдении мы строим один и тот же паттерн – полный экспериментальный стек: согласованное распределение зрителей между web, мобильными и TV; OEC, привязанный к watch time и удержанию, а не к кликам; вшитые guardrails по качеству опыта, чтобы победа по вовлечённости никогда не выходила в прод ценой худшего потока; sequential-мониторинг, чтобы вредную раскатку поймать за часы; и interleaving для быстрого сравнения ранжирований рекомендаций там, где он уместен. Наш подход – scalability-first и vendor-neutral: мы стартуем от вашего объёма трафика и размера эффекта, который нужно уметь детектировать, решаем, где достаточно хостед-сервиса фич-флагов и экспериментов, а где кастомная платформа окупает свою цену, и связываем эксперименты с теми же системами рекомендаций, метаданных и аналитики, чтобы выученное из теста сразу возвращалось в продукт.

Ключевые выводы

• A/B-тест доказывает пользу изменения, случайно деля зрителей и сравнивая одну согласованную метрику.
• Делайте OEC из watch time и удержания, не из кликов; добавьте guardrails по качеству, способные отменить релиз.
• Размер выборки растёт как дисперсия / квадрат эффекта; малые эффекты стоят квадратично больше зрителей.
• Не подглядывайте: остановите фикс-тест рано – и сфабрикуете ложные победы. Для безопасного мониторинга – sequential.
• Interleaving сравнивает два ранжирования при 100+× меньше зрителей; им отсеивайте, затем A/B по выжившим.
• Снижение дисперсии (CUPED) способно вдвое срезать число зрителей, убрав уже существовавший шум.

Что почитать дальше

• Рекомендательные системы для видео
• Персонализированный мерчандайзинг: ряды, обложки, порядок
• Дата-пайплайн персонализации