Методика тестирования lip-sync: хлопушки, time-of-flight, перцептивные проверки

Коротко

Тестировать lip-sync – значит измерить разрыв между тем, когда звук должен быть слышен, и тем, когда появляется его картинка, а затем сверить этот разрыв с опубликованным окном допуска. Эту работу делают три семейства методов: хлопушка или вспышка-с-сигналом даёт одно жёсткое число на дешёвом оборудовании, инструментальный щуп вроде измерителя «свет + микрофон» даёт субмиллисекундные числа в масштабе, а автоматический детектор сравнивает онсеты звука с движением губ или пикселей, так что можно тестировать реальный контент без тест-карты. Какой бы метод вы ни взяли, нужно вычесть время, за которое звук проходит по воздуху до микрофона, – около 2,9 миллисекунды на каждый метр, – иначе ваши числа неверны ещё до старта. Статья показывает, как работает каждый метод, какую ошибку он прячет и как построить повторяемый тест lip-sync, который переживёт QA.

Почему это важно

Если вы выпускаете видео – OTT-приложение, платформу вебинаров, библиотеку онлайн-обучения, телемедицину, конференц-инструмент, – жалоба «звук слегка не туда» делает хороший контент сломанным, и именно о ней команда спорит дольше всего, потому что её никто не измерил. Продакт-менеджеру нужно знать, реальна ли проблема синхрона или кажется, насколько она велика в миллисекундах и попадает ли она в окно, где зрители перестают замечать. Инженеру нужен тест, который даёт одно и то же число дважды и указывает на стадию, внёсшую ошибку. Эта статья даёт обоим дисциплину измерения, а не догадку, так что баг синхрона становится числом, которое можно отслеживать, чинить и доказывать, что починили.

Нажмите, чтобы увеличить

Сначала – что именно вы измеряете

Ошибка lip-sync – это одно число: разница во времени между звуком и картинкой, которая должна его сопровождать. По соглашению положительное число значит, что звук впереди картинки – аудио опережает, голос приходит до движения губ. Отрицательное число значит, что звук позади – аудио отстаёт, губы двигаются, а голос приходит поздно. Задача любого теста – надёжно выдать это знаковое число.

Число имеет смысл только относительно окна допуска, и опорное окно опубликовано. Стандарт ITU-R BT.1359-1 задаёт пределы приемлемости: звук опережает картинку не более чем на +90 миллисекунд и отстаёт не более чем на −185 миллисекунд (ITU-R BT.1359-1, recommends §2, 1998). Внутри этого окна почти никто не жалуется. Тот же стандарт ставит пороги обнаружимости жёстче, около +45 мс…−125 мс – точка, где внимательный зритель начинает замечать, но ещё терпит. Вещатели, желающие запаса, берут более строгую рекомендацию ATSC: звук не более чем на 15 мс впереди и не более чем на 45 мс позади (ATSC IS-191, 2003). Ваш тест не пытается попасть в ноль; он пытается попасть и остаться внутри одного из этих окон.

Полезный якорь из кино: там стандартный допуск – полкадра, что при 24 кадрах в секунду составляет около ±22 миллисекунд (ITU-R BR.265, цитируется в BT.1359-1, Приложение 1). Это примерно та точность, которой должно достигать хорошее измерение.

Метод 1 – Хлопушка и вспышка-с-сигналом

Самый старый метод – киношная хлопушка, и он до сих пор работает, потому что физика проста: сделать звук и картинку в один и тот же миг, а затем измерить, насколько далеко они разъехались ниже по цепочке.

Современная лабораторная версия – вспышка-с-сигналом, иногда называемая sync clap. Вы проигрываете клип, где один яркий видеокадр – белая вспышка – приходится ровно на тот же момент, что и короткий резкий щелчок или тональный всплеск. Вы захватываете выход тестируемой системы, открываете его в любом редакторе и листаете покадрово. Находите кадр, где появляется вспышка, и аудиосэмпл, где начинается щелчок, и читаете разрыв между ними.

Разберём арифметику. Пусть вспышка приходится на кадр 300, а первый сэмпл щелчка – на 4 кадра позже, на кадр 304, в клипе 25 fps:

длительность кадра = 1 секунда ÷ 25 кадров = 40 миллисекунд на кадр
сдвиг = 4 кадра позже × 40 мс = 160 мс отставания звука

160 мс отставания – за пределами окна ITU-R. Знак важен: щелчок пришёл после вспышки, значит звук отстаёт. Если бы щелчок пришёл до вспышки, звук опережал бы и число было бы положительным.

Сила хлопушки в том, что ей почти ничего не нужно – тест-клип и редактор – и она даёт абсолютный сдвиг, а не просто факт его наличия. Слабость – разрешение. Вы можете измерить с точностью до кадра, если не листаете ещё и аудиоволну на уровне сэмплов, и даже тогда выбор «правильного» кадра человеком вносит ошибку суждения. Хлопушка отвечает «насколько не туда, примерно?». Она не отвечает «это 12 мс или 18 мс?».

«Подводный камень – вспышка при rolling shutter. Белая вспышка не так мгновенна, как кажется. Многие камеры и многие видеоконвейеры экспонируют кадр сверху вниз, а не весь сразу, поэтому однокадровая вспышка может размазаться на два кадра и сместить ваше чтение на кадр. Используйте вспышку, заполняющую весь кадр и длящуюся ровно один кадр в источнике, и проверьте в исходном файле – не в захваченном выходе, – что это действительно один кадр. Непроверенная тест-карта – это непроверенная линейка.»

Метод 2 – Инструментальные щупы и ловушка time-of-flight

Когда нужны реальные числа – субмиллисекундные, повторяемые, в масштабе, – вы переходите к инструментальному щупу. Типичная конструкция – ручной прибор со световым датчиком и микрофоном: вы наводите датчик на экран, ставите микрофон у динамика, проигрываете клип вспышка-с-сигналом, и прибор сообщает разрыв между импульсом света, который он видит, и звуком, который слышит. Специальные измерители делают это с точностью около 0,1 мс на диапазоне в несколько сотен миллисекунд (спецификация Sync-One2, Harkwood Services, 2026). Это на два порядка лучше покадрового листания.

Но щуп вносит ошибку, которой нет у хлопушки, и это самая частая ошибка в измерении lip-sync: звуку нужно пройти от динамика до микрофона, и этот путь занимает время. Свет доходит до датчика практически мгновенно. Звук – нет. При комнатной температуре звук движется со скоростью около 343 метров в секунду – это примерно 2,9 миллисекунды на каждый метр (скорость звука при 20 °C, 343 м/с). Покажем математику:

задержка по воздуху = расстояние ÷ скорость звука
1,5 м ÷ 343 м/с = 0,00437 с = 4,4 мс ложного «отставания звука»

Если ваш микрофон стоит в 1,5 метра от динамика, щуп будет сообщать на 4,4 мс больше отставания, чем есть на самом деле, каждый раз. В маленькой QA-будке это раздражает. В лекционном зале или в гостиной с дистанцией прослушивания 5 метров это 14,6 мс чистой ошибки измерения – треть всего бюджета отставания ATSC, придуманная геометрией. Хорошие измерители дают вход коррекции по расстоянию именно для того, чтобы вычесть эту задержку time-of-flight; приложение BT.1359-1 о субъективном тесте даже фиксирует геометрию на дистанции 200 см от динамика до оценщика, чтобы результаты были сопоставимы (ITU-R BT.1359-1, Приложение 2, 1998). Либо измеряйте прямо у решётки динамика, либо измеряйте расстояние и вычитайте расстояние ÷ 343 из каждого чтения.

Нажмите, чтобы увеличить

Метод 3 – Автоматическое обнаружение на реальном контенте

И хлопушке, и щупу нужен тест-клип со встроенной вспышкой и сигналом. В лаборатории это нормально, но это не скажет вам, уехала ли вчерашняя запись вебинара, потому что в той записи нет тест-карты. Для реального контента нужно автоматическое обнаружение, которое измеряет синхрон прямо из программного звука и картинки.

Есть два больших семейства. Простое – корреляция онсетов: детектор находит резкие моменты в звуке – взрыв смычного согласного вроде «п» или «б», хлопок ладонью, удар двери – и ищет совпадающее резкое изменение картинки в том же месте, затем сдвигает одну дорожку относительно другой, пока совпадения не сойдутся лучше всего. Сдвиг, дающий лучшее выравнивание, и есть ваша ошибка lip-sync. Это автоматический родственник хлопушки, и он работает на любом контенте с явными событиями звука и движения.

Более мощное семейство – обученное аудиовизуальное сопоставление, подход исследовательских систем вроде SyncNet («Out of Time: Automated Lip Sync in the Wild», Chung & Zisserman, ACCV 2016). Нейросеть учит естественную связь между формами губ и звуками речи на больших объёмах неразмеченного видео, затем для нового клипа перебирает окно кандидатов сдвига – обычно около ±1 секунды – и сообщает сдвиг, где звук и движение губ совпадают сильнее всего, вместе с оценкой уверенности. Поскольку она понимает связь звук-губы, она работает на обычном видео с говорящей головой вообще без тестового сигнала.

Автоматическое обнаружение – единственный практичный способ непрерывно мониторить синхрон во всей библиотеке или в живом потоке. Его ограничения честны: корреляция онсетов нуждается в контенте с явными транзиентами и буксует на плавной музыке или фоновых сценах, а обученным сопоставителям нужно видимое, более-менее фронтальное лицо, и они деградируют, когда говорящий отворачивается или говорят несколько человек сразу (TV Tech, «Maintaining Lip Sync», 2008, об ограничении говорящей головы). Считайте оценку уверенности воротами: сдвиг с низкой уверенностью – это «не удалось измерить», а не «идеально в синхроне».

Метод 4 – Перцептивная проверка (и почему она всё ещё нужна)

Какими бы точными ни были ваши приборы, финальная инстанция по lip-sync – человек, потому что сами окна допуска построены из человеческого суждения. Числа BT.1359-1 идут из определённой субъективной процедуры: панель минимум из 15 оценщиков, эксперты и не-эксперты, смотрят диктора-женщину на фиксированной дистанции 200 см и оценивают помеху по пятибалльной двухстимульной шкале, при этом сессии держат короче 30 минут, чтобы избежать усталости (ITU-R BT.1359-1, Приложение 2, 1998). Это золотой стандарт, по которому калибруются приборы.

Для рутинного QA панель из 15 человек не нужна, но дисциплинированная перцептивная проверка нужна. Смотрите смычные на замедленной скорости: когда говорящий произносит слово на «п» или «б», губы полностью смыкаются, и это смыкание должно совпасть с тишиной прямо перед взрывом звука. Смотрите твёрдые согласные и ударные события на экране. Главное – определите комнату: тип монитора, дистанция просмотра, расположение динамиков и сам материал сдвигают восприятие, поэтому перцептивная проверка, которая не стандартизирована, не повторяема. Прибор даёт число; перцептивная проверка говорит, совпадает ли число с тем, что чувствует зритель.

Собираем вместе: сравнение

Методы не соперники; это лестница. Вы выбираете ступень под нужную точность и имеющийся контент.

Практический рабочий процесс, к которому сходится большинство команд: автоматическое обнаружение помечает дрейф по каталогу и живым потокам, помеченный материал подтверждают абсолютным чтением вспышка-с-сигналом, инструментальный щуп берут, когда нужны калиброванные числа для аппаратного тракта, а каждый релиз завершают перцептивным решением в определённой комнате. И в каждом методе с реальным динамиком и микрофоном сначала вычитают time-of-flight.

Есть и развёрнутый стандартный путь, о котором стоит знать: SMPTE ST 2064 определяет аудио- и видеоотпечатки, генерируемые из самой программы и едущие вместе с ней, так что устройство ниже по цепочке может восстановить исходный тайминг и непрерывно измерять или корректировать дрейф (SMPTE ST 2064-1 и ST 2064-2, 2015). Это вещательная версия автоматического обнаружения – без тест-карты и без лиц, потому что опора едет вместе с контентом.

Повторяемый тест от начала до конца

Тест lip-sync, который нельзя повторить, – это мнение. Сделайте его повторяемым, зафиксировав пять вещей и записав их с каждым результатом: исходный клип и его проверенную раскладку кадров, точку захвата в конвейере, расстояние микрофон-динамик, применённую коррекцию time-of-flight и окно допуска, по которому судите. Прогоните один и тот же клип через один и тот же тракт дважды; если два числа различаются больше точности вашего метода, переменная – ваш стенд, а не система, и вы чините стенд, прежде чем доверять любому чтению.

Привяжите результат к стадии, а не просто к вердикту. Если сдвиг – постоянное отставание, одинаковое при каждом воспроизведении, подозревайте постоянную задержку вроде audio priming или тракта кодека. Если сдвиг медленно растёт на длинном файле, подозревайте рассогласование тактовой частоты, требующее коррекции дрейфа ресемплингом или правкой кадров. Если он появляется только в живом звонке, опрашивать надо метки времени RTP и отчёты отправителя RTCP, по которым приёмник выравнивает потоки. Измерение, называющее стадию, – это измерение, ведущее к починке.

Где здесь Фора Софт

Мы строим видеоконференции, OTT и стриминг, онлайн-обучение, телемедицину и видеонаблюдение, где синхрон – метрика качества первого класса, а не запоздалая мысль. В этих проектах тестирование lip-sync – часть QA-конвейера, а не разовая проверка перед запуском: автоматическое обнаружение следит за дрейфом в записях и живом контенте, а инструментальные и перцептивные проверки гейтят релизы на том оборудовании и плеерах, что важны клиенту. Дисциплина та же, что описана в статье, – измерить сдвиг, скорректировать на воздух, оценить по опубликованному окну и проследить до внёсшей его стадии.

Главное

• Ошибка lip-sync – одно знаковое число: плюс – звук опережает, минус – отстаёт.
• Судите по ITU-R BT.1359-1: приемлемость +90 мс опережение, −185 мс отставание.
• Всегда вычитайте time-of-flight – около 2,9 мс на метр дистанции динамик-микрофон.
• Хлопушка даёт дешёвое абсолютное число; щуп – субмиллисекундную точность.
• Автоматическое обнаружение (онсеты или SyncNet) – единственный способ мониторить реальный контент в масштабе.
• Завершайте каждый релиз перцептивной проверкой в определённой повторяемой комнате.

Что почитать дальше

• Что значит «в синхроне»: ITU-R BT.1359, окна lip-sync, заметность
• Lip-sync в HLS и DASH: где он обычно ломается
• Коррекция дрейфа: ресемплинг, drop и вставка кадров