Гейты качества в CI/CD (VMAF)

Коротко

Гейт качества в конвейере непрерывной интеграции – это автоматическая проверка «прошёл/не прошёл», которая измеряет перцептивную оценку качества на фиксированном тестовом клипе и проваливает сборку, когда оценка падает слишком сильно, так что плохое изменение кодировщика блокируется до того, как дойдёт до зрителя. Стройте его на перцептивной метрике вроде VMAF, а не на PSNR, потому что важнейший сбой – кодировщик меняет видимое качество на пиксельную точность – заставляет PSNR расти, пока картинка становится хуже. Запускайте сразу две проверки: абсолютный пол (никогда не отгружать ниже заданной оценки) и регрессионную проверку против золотого эталона (никогда не падать больше чем на малый запас от последней хорошей сборки), и размер этого запаса берите из собственного шума измерения, чтобы гейт срабатывал на реальных регрессиях, а не на дрожании от прогона к прогону. Всегда читайте худшие кадры (низкий перцентиль), а не только среднее, и осознанно решайте, блокирует ли провал слияние (жёсткий гейт) или только предупреждает (мягкий гейт).

Почему это важно

Кодировщик – это софт, а софт меняется: новая версия кодека, подкрученный пресет, per-title алгоритм, рефакторинг – любое изменение может тихо снизить качество картинки, которое видит зритель, и вы не заметите этого, пока не придут тикеты в поддержку. Гейт качества – это тест, который ловит такую регрессию в конвейере так же, как юнит-тест ловит логическую ошибку: автоматически проваливая сборку. Эта статья для лида по кодированию или стримингу, инженера платформы и QA-инженера, которому надо встроить порог качества в сборку, а потом защитить его, когда он загорится красным. Она превращает «энкод вроде ещё нормально выглядит» в число, которое конвейер проверяет на каждом изменении. Это автоматизация, которая принуждает к цели из статьи как задать целевое качество и бюджет качества: та статья говорит, в какую оценку целиться; эта – заставляет конвейер отказываться отгружать ниже неё.

Гейт качества, заимствованный из разработки

Само словосочетание пришло из программной инженерии, не из видео. В конвейере кода гейт качества – это набор условий «прошёл/не прошёл»: покрытие тестами выше 80%, ноль новых критичных багов, дублированных строк меньше 3% – условий, которым изменение должно удовлетворить, прежде чем его допустят к слиянию или деплою; если хоть одно условие не выполнено, гейт не пройден и конвейер останавливается (SonarSource, документация Quality Gates, 2026). Идея проста и сильна: закодируйте командное определение «достаточно хорошо» как машинную проверку и пусть сборка его принуждает, чтобы ни одному человеку не приходилось об этом помнить.

Гейт качества видео – та же идея, наведённая на картинку вместо кода. Условие теперь не «покрытие ≥ 80%», а «перцептивная оценка качества этого энкода ≥ 93», и измеряют не исходный файл, а короткий фиксированный тестовый клип, прогнанный через кодировщик. Когда инженер открывает pull request, затрагивающий путь кодирования, конвейер кодирует тестовый клип новым кодом, измеряет качество, сравнивает с порогом и проваливает сборку, если оценка упала слишком сильно. Плохое изменение не сливается. В этом весь механизм; остальная статья – о том, как выбрать метрику, задать порог и обойти ловушки, которые делают гейт либо бесполезным, либо невыносимым.

Нажмите, чтобы увеличить

Почему гейт должен быть перцептивным: ловушка «PSNR вверх, VMAF вниз»

Первое решение – на каком числе ставить гейт, и это решение большинство команд принимает неверно. Десятилетие проверкой по умолчанию был PSNR – пиковое отношение сигнал/шум, метрика, измеряющая, насколько далеко каждый сжатый пиксель сидит от оригинала, в децибелах, где выше значит ближе (см. PSNR простыми словами). PSNR дёшев, детерминирован и легко порогуется. Он же измеряет не то. PSNR считает пиксельную ошибку; он не знает, в том ли месте ошибка, где её заметит зритель, поэтому он лишь слабо коррелирует с тем, что люди реально видят.

Зазор становится реальным багом в одном конкретном, частом случае. Современные кодировщики используют психовизуальные оптимизации – намеренно добавляют или удерживают детали (зерно плёнки, текстуру), которые глазу нравятся, но которые отличаются от исходника попиксельно. Эти приёмы поднимают воспринимаемое качество и снижают PSNR, потому что намеренно увеличивают пиксельную ошибку (Twitter Engineering, VMAF percentiles, 2020, отмечает, что психовизуальная подстройка x264 снижает PSNR, улучшая вид). Переверните случай – и получите опасный: изменение кодировщика, которое срезает эту деталь в погоне за пиксельной точностью, заставит PSNR расти, пока картинка выглядит хуже. Гейт только на PSNR видит более высокое число, объявляет успех и отгружает регрессию.

Разобранный пример делает это конкретным. Две сборки кодируют один и тот же тестовый клип 720p:

Таблица 1. PSNR вырос на 0,6 дБ, пока VMAF упал на 9,1 балла. Гейт только на PSNR пропускает новую сборку; гейт на VMAF её проваливает. Регрессия реальна – кодировщик обменял видимое качество на пиксельную точность (пример по Mason K, DEV, 2026).

Нажмите, чтобы увеличить

Поэтому гейт строят на перцептивной метрике – обученной предсказывать оценки людей. Стандартный выбор – VMAF (Video Multimethod Assessment Fusion, перцептивная метрика Netflix по шкале 0–100, где выше значит ближе к оригиналу для человеческого глаза; см. VMAF простыми словами). VMAF ловит обмен, который PSNR упускает, потому что был сплавлен из признаков, отслеживающих воспринимаемую деталь и движение, и затем валидирован против субъективных оценок. У PSNR остаётся место как у дешёвого вторичного сигнала – крупный скачок PSNR стоит взгляда – но он никогда не должен быть главным условием гейта. Причина уходит к важнейшему правилу этого раздела: каждая объективная метрика – это прокси для зрителя, и прокси, игнорирующий восприятие, – это тот, что отгружает перцептивный баг. (Полный каталог того, где каждая метрика врёт, – в где объективные метрики врут.)

Два гейта, не один: пол и регрессионная проверка

Полезный гейт – это на самом деле две проверки с разными задачами, и запуск только одной оставляет дыру.

Абсолютный пол – проверка попроще: никогда не отгружать версию ниже оценки X. Он ловит энкод, плохой в абсолютном смысле – повреждённый вывод, неверно настроенная ступень, разрешение, рухнувшее с обрыва. Пол идёт прямо из цели по качеству: премиальная верхняя ступень «достаточно хороша» около VMAF 93 и прозрачна (неотличима от источника) около VMAF 95 (Rassool, IEEE, 2017; Kah et al., SPIE, 2021), поэтому разумный пол для этой ступени сидит чуть ниже цели, около 90–92. У каждой ступени свой пол; пол нижней ступени по замыслу куда ниже.

Регрессионная проверка – та, что ловит плохое обновление кодировщика, и она сравнительная: никогда не падать больше чем на малый запас ниже последней заведомо хорошей сборки на том же клипе. Ей нужен золотой эталон – фиксированный, версионируемый тестовый клип (или небольшой набор), закодированный текущим продакшен-кодом, чьи оценки – это база, против которой меряют каждую новую сборку (полная трактовка – в регрессионное тестирование и эталонные образцы). Пол с радостью пропустит сборку, тихо сползшую с VMAF 96 на VMAF 93 – обе берут 90 – но это сползание на 3 балла и есть реальная регрессия, которую команда должна увидеть. Ловит её только регрессионная проверка.

Вместе они покрывают обе формы сбоя: пол останавливает энкод, плохой сам по себе, а регрессионная проверка – энкод, который хуже того, что вы отгрузили вчера. Серьёзный конвейер запускает обе на каждом изменении.

Нажмите, чтобы увеличить

Как задать порог, не ставя гейт на шум

Самое сложное в регрессионном гейте – не написать его, а выбрать падение, которое считается провалом. Поставите слишком свободно – реальная регрессия проскользнёт; слишком туго – гейт загорается красным на шуме, команда учится его игнорировать, и у вас есть тест, которому никто не верит. Выход – привязать запас к собственной неопределённости метрики.

Оценка VMAF – не точная константа. Это предсказание модели, обученной на выборке человеческих оценок, поэтому она несёт доверительный интервал – полосу вокруг числа, выражающую, насколько модель уверена. Netflix отгружает bootstrap-модели (например, vmaf_b_v0.6.3), которые сообщают это напрямую: оценку BOOTSTRAP_VMAF со стандартным отклонением, где 95%-й интервал – это примерно оценка плюс-минус 1,96 стандартного отклонения (Netflix, документация VMAF confidence interval, начиная с v1.3.7, 2018; см. VMAF в деталях). Удобно, что полоса уже на высоких оценках, где живёт верхняя ступень. Есть второй источник дрожания поверх модельного: сам кодировщик не всегда бит-в-бит от прогона к прогону – многопоточность чуть меняет вывод – поэтому повторное кодирование того же клипа дважды может сдвинуть VMAF на несколько десятых балла.

Сложите оба – и запас выпадает из арифметики. Пусть верхняя ступень золотого эталона набирает среднюю VMAF 93,4, bootstrap-модель сообщает стандартное отклонение 0,5 на этой оценке, а пятикратное перекодирование клипа показывает стандартное отклонение от прогона к прогону 0,3. Совмещённый шум – это два, сложенных в квадратурах:

combined_sigma = sqrt(model_sigma^2 + run_to_run_sigma^2)
               = sqrt(0.5^2 + 0.3^2)
               = sqrt(0.25 + 0.09)
               = sqrt(0.34)
               = 0.58 VMAF

95%-й запас по шуму = 1.96 x 0.58 = 1.14 VMAF

Значит, любое падение меньше примерно 1,1 VMAF на этом клипе неотличимо от шума, и гейт не должен на нём проваливаться. Теперь проверим две сборки против этого запаса:

Сборка A: средняя VMAF 91.0  ->  падение = 93.4 - 91.0 = 2.4 VMAF  ->  2.4 > 1.14  ->  ПРОВАЛ (реальная регрессия)
Сборка B: средняя VMAF 92.9  ->  падение = 93.4 - 92.9 = 0.5 VMAF  ->  0.5 < 1.14  ->  ПРОШЛА (в пределах шума)

Падение Сборки A в 2,4 балла больше чем вдвое превышает запас по шуму – реальная регрессия, и около четырёх десятых едва заметной разницы (одна JND – примерно 6 VMAF; Netflix, через Ozer, 2017), то есть она движется к видимой. Блокируйте её. Полбалльный провал Сборки B внутри полосы шума; провалить его – кричать «волки». Это и есть дисциплина, отделяющая гейт, которому инженеры верят, от того, что они отключают: порог – это цель минус запас, а запас – это собственный шум измерения, а не число, которое вы угадали. Инструмент гейта качества видео, идущий со статьёй, считает этот запас из bootstrap-стандартного отклонения и измеренной цифры от прогона к прогону и прогоняет решение «прошёл/не прошёл» выше; передайте --demo, чтобы воспроизвести ровно эти числа.

Нажмите, чтобы увеличить

Не ставьте гейт на одно среднее: читайте худшие кадры

Одна средняя VMAF по клипу – это сводка, а сводки прячут свои худшие моменты. Энкод может в среднем набирать комфортные VMAF 95 за минуту, пока один тёмный высокодинамичный двухсекундный отрезок сидит на VMAF 60 – и именно этот отрезок запоминает зритель. Инженеры Twitter измерили это на реальном контенте: последовательность, чьи кадры в среднем давали VMAF 97,7, всё равно имела плохой 1-й и 5-й перцентиль, и среднее само по себе «вводит нас в заблуждение, что общее качество видео очень хорошее» (Twitter Engineering, 2020). Гейт, читающий только среднее, пропускает плохую сцену.

Лечение – заставить гейт читать распределение, а не только его центр. Это делают два метода пулинга (пулинг – как покадровые оценки становятся одним числом; см. пулинг покадровых оценок). Низкий перцентиль – 1-й или 5-й – это оценка худшего 1% или 5% кадров; гейт на нём ставит пол под плохие моменты, а не только под среднее. Гармоническое среднее взвешивает низкооценённые кадры тяжелее, чем простое среднее, поэтому несколько ужасных кадров тянут его вниз там, где они едва сдвинули бы среднее. Практичный гейт ставит высокую планку на среднее или гармоническое среднее и отдельную, более низкую планку на 5-й перцентиль, так что для прохода должны держаться и «хорошо в среднем», и «нет ужасного отрезка». Одно число для тела клипа, одно – для его худших моментов; провал по любому.

Жёсткий гейт или мягкий: блок или предупреждение

Не всякая проверка должна останавливать линию, и решить, какие должны, – это решение о политике, которое команда принимает один раз и записывает. Жёсткий гейт проваливает сборку и блокирует слияние – конвейер выходит с ненулевым кодом, и изменение не может приземлиться. Мягкий гейт записывает результат и предупреждает – он постит число, может покрасить его в красный, но пропускает изменение. Это различие и то, где каждая проверка сидит в более широком конвейере, – предмет обзора автоматического контроля качества; здесь важно правило большого пальца.

Сделайте абсолютный пол и явную регрессию за пределами запаса по шуму жёсткими гейтами: это сбои, которые заметно вредят зрителям, и они должны останавливать релиз. Сделайте пограничные или шумные сигналы – падение внутри запаса, мелкое колебание PSNR, одиночный кадр-всплеск – мягкими: вынесите их на поверхность, чтобы человек мог взглянуть, но не блокируйте релиз на дрожании. Сбой, которого надо избегать, – жёсткий гейт, срабатывающий на шуме; после третьей ложной тревоги кто-то дописывает || true к шагу, и гейт мёртв. Гейт зарабатывает право блокировать тем, что прав, когда блокирует.

Шаткий контент, закреплённые входы и ловушки, что двигают оценку

Гейт надёжен ровно настолько, насколько надёжны входы, которые в него поступают, и несколько незакреплённых вещей заставят зелёный гейт мигать красным без реальной причины. Относитесь ко всем как к закреплённым входам сборки.

Закрепите эталонный клип. Золотой мастер должен быть фиксированным, версионируемым файлом – кешируйте его в объектном хранилище или Git LFS, никогда не перекачивайте с публичного URL на каждом прогоне, иначе икота CDN станет проваленной сборкой (Mason K, DEV, 2026). Закрепите файл модели VMAF как lock-файл: разные версии модели дают разные оценки, поэтому незакреплённая модель тихо пере-базирует каждый порог под вами. Когда вы всё же обновляете модель – например, до VMAF v1 (июнь 2026), добавившей осведомлённость о цветности и бандинге, которой не было у старых моделей, – поднимайте её осознанно и перемеряйте каждую базу в том же изменении. Закрепите и версии инструментов: синтаксис опций фильтра libvmaf менялся между релизами FFmpeg (старый model_path= против нового model='path=...'), поэтому плавающий FFmpeg может сломать команду или сдвинуть число; записывайте версию и считайте её частью гейта. Полная обвязка цепочки инструментов – в измерении качества с FFmpeg и libvmaf и интеграции измерения качества в CI/CD.

Дальше идут сравнительные ловушки, дающие шумные или попросту неверные оценки, и все они – нарушения одного правила: сравнение метрики корректно только «яблоки к яблокам» – те же кадры, то же разрешение, тот же эталон, та же модель. Несовпадающие счётчики кадров заставляют VMAF молча обрезать до более короткого клипа, и оценка вас удивляет; выравнивайте обе стороны явными обрезками. Несовпадение цветового пространства – источник BT.709 против энкода BT.601 – даёт шумные оценки; нормализуйте сначала. И VMAF нужны полноэталонные входы: он сравнивает энкод с первозданным оригиналом, поэтому его нельзя запустить на прямой трансляции или пользовательском потоке, у которого нет эталона (этот случай требует безэталонных метрик; см. no-reference качество для прямых трансляций и UGC). Закрепите входы и соблюдайте «яблоки к яблокам» – и единственное, что ещё двигает оценку, это реальное изменение в энкоде, которое гейт как раз и призван ловить.

Когда меняется и битрейт: гейт на BD-rate

Один случай ломает простую проверку «упал ли VMAF?». Если обновление кодировщика меняет и битрейт, и качество – скажем, новый кодек, тратящий меньше бит, – сравнение VMAF при фиксированном битрейте несправедливо к той сборке, что тратит меньше. Правильное сравнение держит качество постоянным и спрашивает про биты: BD-rate (Bjontegaard Delta rate) сообщает среднюю разницу битрейта между двумя кодировщиками при сопоставленном качестве, где отрицательное число означает, что новый кодировщик достигает того же качества за меньшее число бит (Bjontegaard, VCEG-M33, 2001). Для гейта обновления кодировщика BD-rate – честная проверка: он проваливает сборку, если новому кодировщику нужно больше бит при том же качестве, и пропускает настоящий выигрыш эффективности, даже если сырой VMAF по файлу сдвинулся. Держите его отдельно от собственно гейта качества – BD-rate это экономия при равном качестве, а не оценка качества – и беритесь за него только когда битрейт является переменной. Наши собственные цифры BD-rate и метод – в BD-rate простыми словами, на наших цифрах.

Отчёт о результате так, чтобы человек мог действовать

Гейт, который печатает только «ПРОВАЛ», тратит впустую самое ценное, что производит: свидетельство о том, где энкод сломался. Храните покадровые оценки как артефакт сборки минимум 30 дней. Заголовочное число говорит, что сборка регрессировала; покадровая кривая говорит, что она регрессировала на две секунды начиная с кадра 1400 – а это и нужно инженеру, чтобы найти причину (Mason K, DEV, 2026). Постите сводку обратно в pull request – среднее, 5-й перцентиль, дельту от золотого эталона и вердикт «прошёл/не прошёл» по каждой версии – чтобы результат был виден там, где ревьюят изменение, а не похоронен в логе. График уровня кадров в артефактах CI превращает «VMAF упал» в «вот провал» и красную сборку из раздражителя в зацепку. Как оформить этот вывод для не-инженерной аудитории – предмет как сделать отчёт о качестве, которому поверит стейкхолдер; собственному отчёту гейта нужно лишь быть точным и по каждой версии.

Частая ошибка: гейт, проваливающийся на шуме (или проходящий по среднему)

Два режима сбоя, убивающих гейты качества, – противоположны, и оба идут от игнорирования распределения за числом. Первый – шаткий жёсткий гейт: регрессионный порог, заданный туже шума метрики, так что сборка краснеет на колебании в 0,4 VMAF, которое есть чистое дрожание. Доверие команды эродирует с каждой ложной тревогой, пока кто-то не отключит шаг – и тогда реальная регрессия проплывёт сквозь открытый гейт. Лекарство – запас по шуму из раздела выше: никогда не задавайте жёсткий регрессионный порог ниже 1,96 совмещённого стандартного отклонения модели и кодировщика. Второй – гейт только по среднему: проверка, которая читает среднее, пропускает клип на VMAF 95 и никогда не замечает двухсекундный отрезок на VMAF 60, который заметит зритель. Лекарство – ставить гейт на низкий перцентиль рядом со средним. У обеих ошибок один корень: оценка качества – это сводка шумного распределения, и гейт, забывший про шум (слишком туго) или про хвост (только среднее), измеряет половину картины. Эталон истины за всем этим остаётся корректно проведённым субъективным тестом (ITU-R BT.500-15, 2023) – когда гейт и внимательный просмотр расходятся, побеждает просмотр, а гейт перекалибровывают.

Где здесь Фора Софт

Фора Софт с 2005 года строит системы видеостриминга, OTT, видеоконференций, e-learning, видеонаблюдения и телемедицины, и в тех из них, где есть собственный конвейер кодирования, гейт качества – это то, что не даёт рутинному изменению кода тихо ухудшить картинку в проде. Мы помогаем командам поднять гейт, описанный в этой статье, – перцептивный пол плюс регрессионную проверку против золотого эталона, с запасом по шуму, рассчитанным из доверительного интервала метрики, читающий худшие кадры наравне со средним и подключённый к блокировке слияния, а не к предупреждению в логе. Где проекту нужны данные качество-битрейт за порогом для конкретного кодека и типа контента, наши измеренные бенчмарки (см. нашу методологию бенчмарков) их дают. Цель – гейт, который молчит, когда энкод в порядке, и прав, когда нет, – так что в первый раз, когда pull request загорится красным, команда будет рада, что он это сделал.

Ключевые выводы

• Гейт качества видео – это CI-проверка, проваливающая сборку, когда перцептивная оценка падает слишком сильно.
• Ставьте гейт на VMAF, не на PSNR: PSNR может расти, пока картинка заметно ухудшается.
• Запускайте две проверки – абсолютный пол и регрессию против золотого эталона.
• Размер запаса регрессии берите из шума метрики (≈1,96× совмещённого σ), а не наугад.
• Читайте худшие кадры (5-й перцентиль / гармоническое среднее), не только среднее.
• Закрепляйте эталонный клип, модель VMAF и версии инструментов как lock-файлы.

Что читать дальше

• Как задать целевое качество и бюджет качества – цель, которую гейт принуждает.
• Регрессионное тестирование и эталонные образцы – набор тестов за регрессионной проверкой.
• Автоматический контроль качества в видеопайплайне – где сидит гейт и жёсткий против мягкого.