Глава 5 из 6
Глава 5. Синхронизация звука и видео, метки времени
Девять статей по порядку – 2 часа 25 минут чтения. Ниже маршрут главы: высота каждого шага соответствует времени чтения.
Глава 5 из 6дальше: Пространственный звук, измерение качества и будущее
Рассинхрон губ измеряется в миллисекундах и допусках ITU-R BT.1359, а держится на метках времени: PTS и DTS, PCR в MPEG-TS, RTP и отчёты отправителя RTCP. Отдельно – дрейф часов, ресемплинг и методика проверки хлопушкой.
Маршрут главы
9 статей · 2 ч 25 мин5.1Что значит «в синхроне»: ITU-R BT.1359, окна lip-sync, заметностьЗвук и изображение почти никогда не доходят до ваших глаз и ушей в один и тот же момент – и это нормально, потому что…18 мин·от начала главы 0 ч 0 мин5.2PTS, DTS и метка времени элементарного потокаКаждый кадр аудио и видео несёт две метки времени: метку презентации, PTS, которая говорит, когда его показать, и метку…16 мин·от начала главы 0 ч 18 мин5.3PCR в MPEG-TS: программные часы, на которых держится вещаниеTransport stream несёт тысячи кадров аудио и видео в секунду, но ни одна их метка времени ничего не значит, пока плеер…15 мин·от начала главы 0 ч 34 мин5.4RTP-метки времени, RTCP-отчёты отправителя и синхронизация по NTPВ реальном звонке аудио и видео идут как два отдельных потока RTP-пакетов, и каждый поток несёт свои собственные часы,…17 мин·от начала главы 0 ч 49 мин5.5Сквозная диаграмма меток времени: от захвата до рендерингаМежду микрофоном и динамиком аудио и видео проходят через шесть-семь разных часов, и lip-sync выживает только если…18 мин·от начала главы 1 ч 6 мин5.6Коррекция дрейфа: ресемплинг, drop и вставка кадровДва устройства в любом медиаконвейере работают на двух разных кварцевых генераторах, поэтому сторона, которая…14 мин·от начала главы 1 ч 24 мин5.7Lip-sync в WebRTC: как это делают mediasoup, Pion и LiveKitWebRTC удерживает голос говорящего согласованным с его губами, проставляя на каждый аудио- и видеопоток две…16 мин·от начала главы 1 ч 38 мин5.8Lip-sync в HLS и DASH: где он обычно ломаетсяВ адаптивном стриминге через HLS и DASH аудио и видео едут как отдельные дорожки сегментов, которые плеер сшивает…17 мин·от начала главы 1 ч 54 мин5.9Методика тестирования lip-sync: хлопушки, time-of-flight, перцептивные проверкиТестировать lip-sync – значит измерить разрыв между тем, когда звук должен быть слышен, и тем, когда появляется его…14 мин·от начала главы 2 ч 11 мин
Строите такую систему?
Поможем выбрать кодек и собрать пайплайн под ваши объёмы – 20 лет в видеоразработке, 250+ проектов.