Метрики QoE стриминга: что удержит зрителя

Кратко

Качество опыта стриминга (QoE, quality of experience) – это то, что зритель реально проживает: как быстро начинается воспроизведение, останавливается ли оно и насколько стабильна картинка, – и измеряется это по событиям плеера, а не по пикселям. Четыре метрики, что двигают поведение зрителя, – время старта, ребуферинг, полученный битрейт и частота его переключений, – и опубликованные причинные исследования показывают: каждая из них меняет, сколько люди смотрят и возвращаются ли. Ребуферинг сильнее всего влияет на вовлечённость на любом типе контента, а задержка старта дольше примерно двух секунд вызывает измеримый отток ещё до показа первого кадра. Эта статья задаёт рамку всего блока: красивая картинка, что буферизуется, проигрывает средней картинке, что не останавливается никогда, – а остальной Блок 6 разбирает каждую метрику по отдельности.

Зачем это нужно

Можно собрать идеальный энкод и всё равно потерять зрителя. Высокая оценка VMAF доказывает, что сжатая картинка близка к источнику, но не говорит ничего о том, быстро ли начался поток, шёл ли он без остановок и держал ли разрешение, – а это то, что зритель чувствует первым. Статья – для стриминг-лида, инженера плеера, продакт-оунера и QA-инженера, кто отвечает за удержание и кому нужно знать, какие числа действительно предсказывают, продолжит ли человек смотреть. Это рамочная статья Блока 6: она называет метрики, показывает, что нашли исследования вовлечённости, и ведёт к глубокому разбору каждой. Прочтите её первой, чтобы понять, почему именно эти числа заслужили место на дашборде.

Картинка – это лишь половина качества

Бо́льшую часть этого раздела «качество» означало картинку: насколько сжатый кадр близок к источнику, оценённый метрикой вроде PSNR, SSIM или VMAF. Это верный вопрос на этапе кодирования, где у вас есть оригинал и можно покадрово измерить потерю. Но зритель никогда не видит ваш энкод в лаборатории. Он видит его в стриминге – запущенным по тапу, прошедшим через сеть с буферизацией, переключённым вверх и вниз по разрешению адаптивным плеером, иногда замёрзшим посреди сцены, пока добивается буфер. Всё это происходит после того, как кодировщик закончил, и ничего из этого не видно в метрике картинки.

Качество опыта, QoE – это название для той полной картины: суммарное качество, что зритель реально воспринимает, от начала до конца. Оно намеренно отличается от качества сервиса (QoS, quality of service) – того, что доставляет сеть и пайплайн: битрейт, потери пакетов, задержка, пропускная способность. Различие – и есть весь смысл статьи QoE против QoS: сеть может попасть в каждую цель QoS и всё равно дать ужасный QoE, потому что зритель ощущает не мегабиты – он ощущает спиннер. QoE измеряется на стороне зрителя, по событиям, что сообщает плеер, и именно этот слой решает, останется ли аудитория.

Вот утверждение, на котором стоит этот блок, сказанное прямо: средняя на вид картинка, что играет мгновенно и не останавливается никогда, побеждает роскошную картинку, что стартует шесть секунд и дважды ребуферится. Метрика картинки и метрика опыта могут указывать в противоположные стороны, и когда так, опыт забирает зрителя. Поэтому стриминг-команда измеряет обе, и поэтому этот блок существует рядом с блоками о качестве картинки.

Нажмите, чтобы увеличить

Четыре метрики, что двигают вовлечённость

Телеметрия плеера может сообщать десятки полей, но почти всю работу по предсказанию, останется ли зритель, делают четыре семейства метрик. Определим каждое до его названия – так, как объяснили бы коллеге, кто ни разу не открывал дашборд стриминг-аналитики.

Время между моментом, когда зритель нажал «play», и моментом появления первого кадра, называемое временем старта (video start time, или join time), – это первое впечатление. Оно решает, начнётся ли сессия по-настоящему. Его измерению и компромиссу между быстрым стартом и резким первым кадром посвящена статья время старта и time-to-first-frame.

Доля сессии, что зритель провёл, глядя на спиннер вместо движущегося видео, называемая долей ребуферинга (rebuffering ratio: суммарное время остановок, делённое на суммарное время сессии), – это метрика остановок. Именно она сильнее всего связана с уходом людей. Что это, как её измерять и документированную связь с оттоком разбирает статья доля ребуферинга и цена остановки.

Детализация картинки, что зритель реально получил, – полученный битрейт, на котором осел адаптивный плеер, и как часто он этот битрейт переключал вверх или вниз, – это метрика стабильности. Более высокий средний битрейт обычно выглядит лучше, но частые переключения – сами по себе видимый артефакт. Балансировку, что выполняет плеер с адаптивным битрейтом (ABR), разбирает статья битрейт, переключения и компромисс качества в ABR.

Сессии, что проваливаются полностью, – воспроизведение, что так и не началось (video start failure), зритель, ушедший во время старта (exit before video start), или фатальная ошибка посреди игры (video playback failure), – это метрики сбоев. Они – самый грубый сигнал из всех, потому что провалившаяся сессия – это зритель, не получивший ничего. Откуда берутся все эти числа – инструментирование плеера и аналитический стек – разбирает статья метрики качества на стороне плеера.

Эти названия не случайны. Индустрия стандартизировала их, чтобы «время старта» или «доля ребуферинга» значили одно и то же в разных плеерах и у разных вендоров аналитики: рекомендованная практика CTA-2066 определяет события, свойства и метрики QoE стриминга – включая video start time, video start failure, exits before video start и rebuffering ratio – и как каждую вычислять (CTA-2066, 2020). Сопутствующий CTA-5004 (Common Media Client Data, CMCD) стандартизирует поля, что плеер прикрепляет к каждому запросу, – закодированный битрейт, длину буфера, измеренную пропускную способность, идентификаторы контента и сессии, – чтобы те же данные доходили до любого бэкенда (CTA-5004, 2020; ревизия CMCDv2 CTA-5004-A вышла в 2026). Используйте стандартные определения; иначе два дашборда, оба говорящие «доля ребуферинга», тихо измеряют разное.

Нажмите, чтобы увеличить

Что на самом деле нашли исследования вовлечённости

Причина, по которой эти четыре метрики заслуживают места на дашборде, – не интуиция, а измерение, а в одном случае – причинность. Поле держат два исследования.

Первое – от Conviva и соавторов на большом наборе короткого VoD, длинного VoD и live-контента – спросило, какая метрика качества сильнее всего влияет на вовлечённость. Его главный вывод: доля ребуферинга сильнее всего влияет на вовлечённость на любом типе контента (Dobrian et al., SIGCOMM 2011). Величина зависит от контента – live чувствительнее всего, – и статья даёт конкретное число: для 90-минутного live-события рост доли буферизации на 1% сокращал вовлечённость более чем на три минуты просмотра (Dobrian et al., 2011). Она же нашла, что средний битрейт важнее для live, чем для контента по запросу, – поэтому live-продукт не может просто скопировать сценарий VoD.

Второе исследование пошло дальше и установило причину, а не только корреляцию, через квази-экспериментальный дизайн на большом наборе данных Akamai (Krishnan & Sitaraman, IMC 2012). Три его вывода стоит запомнить. Зрители начинают уходить, как только старт превышает около двух секунд, и каждая дополнительная секунда задержки старта поднимала отток примерно на 5,8 процентных пункта в измеренном диапазоне. Зритель, испытавший задержку ребуферинга всего в 1% от длительности видео, смотрел примерно на 5% меньше, чем сопоставимый зритель без ребуферинга. А зритель, столкнувшийся со сбоем, был на 2,32% менее склонен вернуться на тот же сайт в течение недели – урон переживает саму сессию. Исследование также нашло, что терпимость различается: зрители коротких клипов уходят быстрее, чем зрители длинного контента, а зрители на лучше подключённых устройствах менее терпеливы, не более.

Сложите эти два исследования – и порядок приоритетов выстраивается сам. Остановки ранят сильнее всего, старт – момент, где можно потерять людей до того, как они хоть что-то посмотрели, а сбой отравляет и следующий визит. Ничего из этого не видно в метрике картинки.

Нажмите, чтобы увеличить

Арифметика медленного старта

Доведём вывод о старте до числа, что почувствует продакт-оунер. Допустим, ваш плеер показывает первый кадр за шесть секунд на холодном старте. Это на четыре секунды дольше примерно двухсекундной точки, где зрители начинают уходить. При примерно 5,8 процентных пункта добавленного оттока на каждую лишнюю секунду линейное приближение даёт:

лишний_отток = 5,8 п.п./секунду x (6 с − 2 с)
             = 5,8 x 4
             = 23,2 процентных пункта

В день с 1 000 000 попыток воспроизведения это примерно:

потерянные_сессии = 1 000 000 x 0,232
                  = 232 000 сессий, брошенных у порога

по сравнению с двухсекундным стартом. Число – приближение: наклон 5,8 пункта на секунду держится в диапазоне, что измерили Krishnan и Sitaraman, не вечно, и ваши аудитория и контент отличаются, – но важен порядок величины. Срезать четыре секунды со старта – не косметика; это разница между запуском нескольких сотен тысяч сессий и их потерей.

Теперь сторона ребуферинга. Возьмём 40-минутную программу – это 2400 секунд. Доля ребуферинга 1% означает, что зритель провёл 24 секунды, глядя на спиннер. Результат Krishnan–Sitaraman говорит, что этот зритель смотрит примерно на 5% меньше программы:

потеря_просмотра = 5% x 40 минут
                 = 2 минуты просмотра потеряно на затронутого зрителя

Две минуты на зрителя, помноженные на аудиторию и каталог, – это большой объём вовлечённости (а также рекламных показов и лояльности подписчиков), стёртый 24 секундами остановки. Поэтому доля ребуферинга заслуживает отдельной статьи (цена остановки), и поэтому «никогда не останавливаться» обычно побеждает «выглядеть чуть резче» как цель оптимизации.

Почему ни одно число не есть QoE

Соблазнительно короновать одну метрику – скажем, ребуферинг – и оптимизировать только её. Исследования предостерегают. Метрики взаимодействуют, а связь любой из них с опытом нелинейна и зависит от контента: хорошо предсказать QoE можно, лишь комбинируя их, потому что модель на одной метрике оставляет бо́льшую часть вариации необъяснённой (Balachandran et al., SIGCOMM 2013). Самый ясный пример взаимодействия – тот, с которым плеер с адаптивным битрейтом борется каждую секунду: чтобы избежать остановки, он может опуститься на более низкий битрейт, меняя детализацию картинки на плавность; чтобы поднять битрейт, он рискует обогнать сеть и встать. Время старта торгуется так же: стартуй на низком битрейте – воспроизведение начнётся раньше, но будет мягким; жди более высокого – первый кадр резкий, но позже. Оптимизация одной метрики в изоляции просто перекладывает урон в другую.

Здесь же в историю возвращаются метрики картинки из прежних блоков. Оценка доставленной картинки вроде VMAF говорит, насколько хорошо выглядит полученное разрешение; метрики QoE говорят, удалось ли зрителю увидеть это без остановок. Ни одна не полна в одиночку. Их объединение – качество картинки, взвешенное против старта, остановок и переключений, – в единый взгляд на опыт настолько сложно, что заслуживает отдельного разбора в статье как связать объективные метрики картинки с воспринимаемым QoE. Параметрическая модель ITU-T P.1203 делает именно такое слияние: она предсказывает MOS от 1 до 5 для сессии адаптивного стриминга по битстриму и метаданным, складывая туда остановки и переключения качества, а не только картинку (ITU-T Rec. P.1203, 2017). Вывод для этой рамочной статьи проще: держите четыре метрики вместе, потому что зритель проживает их вместе.

Метрики QoE с одного взгляда

Таблица ниже называет каждую метрику, что она измеряет, её единицу и – в духе этого раздела – где она может ввести в заблуждение. У каждой метрики QoE есть слепое пятно, и дашборд, что их игнорирует, рассказывает ложно-спокойную историю.

Таблица 1. Семейства метрик QoE стриминга, определённые по CTA-2066 (2020). Глубокий разбор каждой живёт в своей статье Блока 6; эта таблица – карта.

Нажмите, чтобы увеличить

Частая ошибка: оптимизировать картинку и игнорировать провод

Самая дорогая ошибка программы качества – измерять качество картинки великолепно, а опыт – никак. Команда вкладывает усилия в подъём VMAF на два пункта на энкоде, выпускает его и смотрит, как удержание стоит на месте, – потому что узким местом был шестисекундный старт и доля ребуферинга 1,5%, что никакая метрика картинки никогда бы не вскрыла. Энкод никогда не был проблемой.

Из того же корня растут четыре смежные ловушки. Отчёт по глобальному среднему прячет локальный обрыв: спокойная доля ребуферинга по всему флоту может скрывать один CDN, устройство или регион, где она взлетела, – та же дисциплина сегментации, на которой настаивает статья мониторинг качества в проде. Принятие одной метрики за QoE игнорирует взаимодействия выше. Путаница QoS с QoE – предположение, что здоровые сетевые числа означают довольного зрителя, – пропускает сам опыт. А путаница качества энкода с доставленным качеством измеряет файл, что вы произвели, вместо потока, что получил зритель. Каждая ловушка подменяет число, в которое можно попасть, числом, что имеет значение, – и разницу оплачивает зритель.

Где здесь Фора Софт

Фора Софт строит видеостриминг, OTT, конференц-связь, e-learning, телемедицину и видеонаблюдение с 2005 года, и в каждом из них вопрос, решающий успех, один и тот же: остался ли зритель? Мы помогаем командам инструментировать четыре семейства метрик, что называет эта статья, – время старта, ребуферинг, битрейт и переключения, сбои, – используя стандартизированные события плеера (CTA-2066) и клиентские данные (CMCD), чтобы числа значили одно и то же по всему стеку. Для live-продуктов – конференц-связи и live-OTT, – где старт и остановки доминируют в опыте, а сравнивать не с чем (нет эталона), эта телеметрия – главный сигнал качества с первого дня. Цель – не красивее дашборд; цель – поймать медленный старт или остановку, что стоит вам аудитории, до того как аудитория уйдёт.

Ключевые выводы

• QoE – это опыт, что проживает зритель, измеряемый по событиям плеера, а не по пикселям.
• Время старта, ребуферинг, битрейт, переключения и сбои – метрики, что предсказывают удержание.
• Ребуферинг сильнее всего влияет на вовлечённость на любом типе контента (Dobrian, 2011).
• Каждая секунда старта свыше ~2 с поднимала отток на ~5,8 пункта (Krishnan & Sitaraman, 2012).
• Ни одна метрика не есть QoE – они взаимодействуют, поэтому измеряйте и взвешивайте их вместе.
• Отличная картинка, что буферизуется, проигрывает средней картинке, что не останавливается.

Что почитать дальше

• Доля ребуферинга и цена остановки – важнейшая метрика QoE, целиком.
• Время старта и time-to-first-frame – почему первые секунды решают удержание.
• Как связать объективные метрики картинки с воспринимаемым QoE – слияние VMAF с метриками доставки.