Дискретизация и теорема Котельникова применительно к видео

Главное

Любое цифровое видео – это непрерывная сцена, разбитая на отсчёты: измерения, сделанные в регулярных точках по пространству и времени. Теорема Котельникова (в западной литературе её называют теоремой Найквиста – Шеннона) – это правило из теории сигналов, известное уже почти сто лет. Она определяет, с какой частотой нужно делать эти измерения, чтобы исходную сцену можно было восстановить без потерь. Если отсчёты делать реже, чем требует теорема, мелкие детали не просто исчезают – они появляются на записи в виде совершенно другого, ложного узора. Этот эффект называется алиасингом (или наложением спектров): отсюда и муар на полосатой рубашке, «лесенки» на диагональных линиях, и колёса повозок, которые в старых фильмах будто крутятся назад. Как только становится ясно, по какой оси нарушено правило – горизонтальной, вертикальной или временной, – каждый приём борьбы с артефактами перестаёт казаться магией: он превращается в прямой ответ на конкретное нарушение.

Зачем это знать

Если вы разрабатываете продукт, который записывает, обрабатывает или отображает видео – стриминговый сервис, видеозвонки, телемедицинские системы, приложения для прямых трансляций спорта, образовательные платформы, – рано или поздно столкнётесь с артефактами наложения. Муар на одежде клиента, размытый текст на слайдах, странно вращающиеся автомобильные колёса в спортивных клипах, «телепортирующиеся» люди на записях с камер видеонаблюдения – это не ошибки вашего кодировщика. Это неизбежное следствие того, что непрерывную сцену мы измеряем по конечной сетке. Теорема, о которой пойдёт речь, точно определяет, когда такие артефакты появятся и где в вашем конвейере их можно предотвратить. Математическая подготовка не потребуется: построим объяснение с нуля, шаг за шагом.

Что значит «дискретизировать»

Начнём со слова дискретизация – на нём держится всё остальное.

В реальном мире свет, звук и движение непрерывны. Поток света, попадающий на объектив, не разделён на части – это плавный, непрерывный сигнал. Звук в микрофоне – тоже непрерывное колебание давления воздуха, а не последовательность отдельных событий.

Но цифровая камера или цифровой микрофон не способны хранить «непрерывное» – компьютеры работают только с числами. Поэтому любое цифровое устройство измеряет входной сигнал через равные промежутки времени: «насколько сейчас ярок свет?», «насколько сейчас громок звук?» – и записывает ответ в виде числа. Сам процесс таких регулярных измерений называется дискретизацией, а каждое отдельное измерение – отсчётом (по-английски sample; в видеоинженерной речи часто говорят «сэмпл», но в учебной литературе принят именно термин «отсчёт»).

Удобная бытовая аналогия. Представьте, что вы наблюдаете за рекой и каждые минуту опускаете в воду термометр, чтобы записать температуру. На самом деле температура реки меняется плавно и постоянно, но в вашем блокноте остаются только мгновенные снимки – с интервалом в минуту. Если в реке что-то произошло быстрее, чем за минуту – например, сброс горячей воды или внезапный холодный приток – вы можете это полностью пропустить: ваши замеры пришлись на промежутки до и после события. Чем чаще вы измеряете – скажем, раз в десять секунд вместо минуты – тем меньше информации теряете. Но при этом количество записей растёт.

Этот компромисс лежит в основе любой цифровой записи: чем выше частота дискретизации – тем точнее запись, но тем больше данных нужно хранить и передавать. Подбор подходящей частоты под конкретную задачу – это, по сути, и есть половина работы инженера.

Теперь применим это к видео.

Цифровое видео – строго говоря, не «движущиеся картинки». Это длинный список измерений яркости и цвета в фиксированных точках пространства и в определённые моменты времени. Каждый кадр – это сетка таких измерений: измеряем свет в данной точке матрицы, записываем как значение пикселя, переходим к следующей точке, снова измеряем, снова записываем – и так до конца кадра. А последовательность кадров – уже отдельная серия замеров во времени: «сфотографировать» всю сцену сейчас и сохранить как Кадр 1, подождать 1/30 секунды, «сфотографировать» снова и сохранить как Кадр 2.

То есть видео дискретизируется одновременно по трём осям:

• По горизонтали – количество точек измерения по ширине кадра. Это горизонтальное разрешение, то есть число пикселей по горизонтали; мы уже обсуждали его в статье «Что такое цифровое видео».
• По вертикали – количество точек измерения по высоте кадра. Это вертикальное разрешение, то есть число пикселей по вертикали.
• По времени – сколько полных кадров помещается в одну секунду. Это частота кадров (frame rate).

Три различные задачи дискретизации выполняются одновременно, и у каждой из них есть свой потенциальный сбой.

Теорема в трёх предложениях

Здесь мы подходим к правилу, которое управляет всеми тремя осями. В 1928 году Гарри Найквист описал ограничение полосы пропускания линии связи, а в 1933 году советский инженер Владимир Котельников строго сформулировал и доказал саму теорему отсчётов; позже, в 1949 году, её независимо вывел Клод Шеннон. 1 Поэтому в русскоязычной литературе её обычно называют теоремой Котельникова, а в западной – теоремой Найквиста – Шеннона. Это одно и то же. Простыми словами:

«Чтобы непрерывный сигнал можно было точно восстановить по отсчётам, частота дискретизации должна превышать максимальную частоту сигнала более чем вдвое. Если дискретизировать реже, быстрые детали не просто исчезнут – они проявятся как посторонние, ложные, но чётко различимые компоненты, которых в исходном сигнале не было.»

Разберём по частям – три предложения, без математики.

«Максимальная частота сигнала» – это то, что в нём меняется быстрее всего. У звука это самая высокая нота: тонкий свист вызывает колебания давления воздуха тысячи раз в секунду. У изображения «самое быстрое» – мельчайшие детали: близко расположенные полосы, резкие края, тонкие линии. В движении на видео «самое быстрое» – самые стремительные изменения: вращающееся колесо, крыло колибри, стробоскоп.

«Более чем вдвое» – это и есть правило. Если в сигнале есть составляющая, повторяющаяся сто раз в секунду, дискретизировать нужно чаще, чем двести раз в секунду. Этот порог – удвоенная максимальная частота сигнала – называется частотой Найквиста. 2 Если дискретизация выше этой частоты – всё в порядке; если ниже – возникают проблемы.

«Запишется как нечто ложное» – самый неочевидный момент, и на нём стоит задержаться. Когда сигнал дискретизируется слишком редко, информация не просто теряется: её «отголосок» возвращается в виде совершенно другой, но внешне правдоподобной низкочастотной картины. В русской литературе это явление называют наложением спектров, в международной – алиасингом; сам ложный сигнал именуются алиасом. 3 Сигнал маскируется под что-то другое, и если не знать, куда смотреть, отличить маскировку от настоящего сигнала невозможно.

Именно поэтому алиасинг так коварен и важен для видеоинженера. Размытое, недодискретизированное изображение – очевидная проблема: сразу видно, что что-то не так, и понятно, как исправить. А вот изображение с алиасингом выглядит резким и детальным, но эти детали – вымышленные.

Как алиасинг проявляется в реальном видео

У него три лица – по одному на каждую ось дискретизации. Пройдёмся по ним.

Муар – пространственное наложение на узорчатых поверхностях

Муар вы наверняка видели, если когда-нибудь фотографировали человека в рубашке с тонкими полосками или в пиджаке «ёлочкой». Вместо чёткого полосатого узора на снимке появляются волнистые тёмные и светлые разводы, которые «плывут», когда двигается камера или модель. Тот же эффект возникает при съёмке телевизора или другого экрана камерой: на записи появляются мерцающие радужные полосы, которых в реальности не существует. 4

На «языке дискретизации» происходит следующее. Полоски на рубашке – это высокочастотный пространственный узор: на каждом сантиметре ткани много чередований светлого и тёмного. Матрица камеры представляет собой регулярную сетку точек измерения. Если частота полосок ниже частоты Найквиста матрицы, она передаёт их корректно – и мы видим полоски. Если же частота полосок превышает этот предел, в игру вступает теорема Котельникова: высокочастотный узор записывается как более «спокойный» – те самые волнистые разводы. Это и есть алиас, а вся ситуация называется пространственным алиасингом. Полосы будто «плывут» вслед за камерой, потому что даже малейшее её смещение меняет момент, когда каждый светочувствительный элемент попадает на конкретную полоску ткани.

Нажмите, чтобы увеличить

«Лесенки» на диагональных краях

Второе проявление пространственного алиасинга – «лесенки» на наклонных линиях, особенно почти горизонтальных или почти вертикальных. Геометрически край остаётся гладким, но дискретная сетка пикселей вынуждает его отображаться ступенчато. Когда частота изменения края превышает предел Найквиста, эти высокочастотные компоненты не могут быть точно переданы – вместо них появляются заметные ступеньки. Именно с этим борются игровые движки, применяя антиалиасинг (anti-aliasing): они намеренно слегка размывают границы, чтобы сгладить ступенчатую структуру.

Эффект колеса повозки – временное наложение при быстром движении

Третье лицо – самое известное. Так проявляется алиасинг при движении, когда частота кадров слишком мала.

Возьмём классический голливудский фильм, снятый со скоростью 24 кадра в секунду. По теореме Котельникова такая запись способна корректно передать любое движение, полный цикл которого повторяется не чаще 12 раз в секунду – это половина от 24, то есть частота Найквиста для времени. Всё, что быстрее, неизбежно подвергается алиасингу.

Теперь представьте на экране быстро вращающееся колесо повозки. Пусть оно делает 18 полных оборотов в секунду – это явно превышает предел Найквиста. Что увидит зритель? Не вращение со скоростью 18 об/с. Он увидит колесо, которое будто медленно крутится в обратную сторону, или вовсе стоит на месте, или вращается с каким-то странным, непредсказуемым темпом. 5

Объясняется это так. Между Кадром 1 и Кадром 2 (разница – 1/24 секунды) колесо успевает повернуться на 18/24, то есть на 3/4 полного оборота. Спица, которая в Кадре 1 была направлена вверх, в Кадре 2 оказывается слева. Однако зритель не «считает» полные обороты: его мозг ищет наиболее простое объяснение. А «небольшой поворот против часовой стрелки» кажется проще, чем «почти полный оборот по часовой стрелке». В результате мы воспринимаем медленное обратное вращение. Высокочастотное движение алиасировалось в ложное низкочастотное.

Нажмите, чтобы увеличить

Тот же приём вы увидите на колёсах автомобилей в репортажах с дорог, на лопастях вертолётов в воздушных съёмках, на бегущих светодиодных табло на стадионах в прямом эфире. У камер видеонаблюдения с низкой частотой кадров возникает похожая, но другая проблема: человек, идущий через кадр в обычном темпе, может «телепортироваться» из одной точки в другую – система просто не зафиксировала промежуточные положения, и алгоритм детекции движения интерпретирует это как физически невозможный прыжок.

Эффект колеса повозки, как и муар, – не глюк видеофайла. Это точное, предсказуемое следствие дискретизации движения ниже частоты Найквиста.

Нажмите, чтобы увеличить

Цветовая субдискретизация – когда инженеры нарушают теорему намеренно

Пока что было так: «алиасинг – плохо, антиалиасинг – хорошо». Но дальше – интересный поворот: каждый современный видеокодек намеренно нарушает теорему Котельникова – но только по одной оси и только потому, что человеческий глаз устроен особым образом.

Контекст. В статье «Что такое цифровое видео» мы упоминали, что кодеки преобразуют каждый пиксель из привычной системы RGB в другую трёхкомпонентную систему – YCbCr. Первое значение, Y, – это яркость (luma) пикселя. Два остальных, Cb и Cr, – цветность (chroma): сам цвет пикселя, отделённый от яркости.

Такое разделение существует не случайно. Глаз гораздо чувствительнее к изменениям яркости, чем к изменениям цвета. 6 Если деталь на ярком объекте слегка размылась, это заметно мгновенно. А если граница между двумя оттенками цвета чуть «поплыла» – это, как правило, никто не замечает. Эффект настолько силён, что кодеки могут хранить каналы цветности в половинном разрешении по сравнению с яркостью – и для подавляющего большинства зрителей результат будет неотличим от полного цветового изображения.

Степень такой экономии записывается тройкой чисел в формате J:а:b. В её арифметику можно не вникать – достаточно запомнить три комбинации, которые встретятся вам на практике:

Нажмите, чтобы увеличить

Да, формально цветность алиасируется. Цветовые детали тоньше, чем позволяет урезанный предел Найквиста, складываются в ложный низкочастотный цвет. Но поскольку глаз почти не воспринимает эти детали, артефакты для большинства зрителей и большинства типов контента остаются незаметными, а экономия битрейта – значительная: около 50 % ещё до того, как «настоящее» сжатие кодеком успело начаться.

Есть, правда, одно место, где этот компромисс даёт сбой: презентационный контент с резкими красными или синими буквами на белом фоне. Цветовую кайму на чётких краях текста глаз способен различить, и в формате 4:2:0 на таких границах появляются заметные артефакты. Проблему легко решить – выделить отдельный «графический» пресет в линейке битрейтов с цветностью 4:2:2 или 4:4:4. Подробнее об этом – в статье «Цветовые пространства».

Как индустрия реально борется с алиасингом

Поднять частоту дискретизации до уровня, при котором алиасинг невозможен в принципе, не всегда представляется возможным: у матрицы конечное число пикселей, частота кадров ограничена объёмом данных, а у глаза – собственными физическими пределами. Поэтому индустрия пошла другим путём: до попадания сигнала в дискретизатор из него заранее убирают всё, что выше предела Найквиста. Всё, что невозможно записать без искажений, мягко размывается ещё на источнике. Эта предварительная фильтрация и есть антиалиасинг, и в видеотракте у неё три рубежа защиты.

Рубеж 1 – оптический низкочастотный фильтр на матрице

Первая линия обороны – крошечная пластина, приклеенная перед матрицей камеры. Её называют оптическим низкочастотным фильтром (Optical Low-Pass Filter, OLPF) – она изготовлена из двулучепреломляющего кристалла, который разделяет каждый луч света на два слегка смещённых. 7 Результат – едва заметное, но намеренное размытие изображения, достаточное для подавления пространственных частот выше предела Найквиста матрицы, при этом не теряя деталей, которые она всё же способна передать.

OLPF установлен во всех профессиональных кинокамерах (ARRI Alexa, Sony Venice) и во всех вещательных камерах. Часть современных беззеркальных фотоаппаратов (Fujifilm X-T5, серия Sony A7R) от него отказались: разрешение их матриц – 40+ мегапикселей – настолько высоко, что в реальных условиях редко встречаются детали, способные вызвать алиасинг. «Редко» – не значит «никогда», поэтому такие камеры всё равно могут давать муар, если снимают узорчатую ткань или экран.

Рубеж 2 – выдержка как фильтр движения

OLPF закрывает пространственные оси – горизонтальную и вертикальную. Для временной оси нужен другой инструмент – и, пожалуй, самый интуитивный во всей статье: это размытие движения, возникающее, когда затвор открыт значительную часть длительности кадра.

Как это работает. Если камера снимает со скоростью 24 кадра в секунду, каждый кадр длится 1/24 секунды. Если затвор открыт половину этого времени – то есть 1/48 секунды на кадр, – всё, что успевает сдвинуться за это время, на кадре оказывается смазанным. Этот смаз – motion blur, тот самый «киношный» эффект. И он же – точный антиалиасинговый фильтр по временной оси: он намеренно усредняет быстрое движение внутри одного кадра, так что содержимое кадра всегда представлено движением, «достаточно медленным», чтобы уложиться в полосу Найквиста. Такое соотношение выдержки и длительности кадра называют 180-градусным правилом затвора – по имени полукруглых механических затворов времён плёночной эпохи. 8

Если, наоборот, снимать с очень короткой выдержкой – скажем, 1/8000 секунды на кадр, – каждый кадр получится бритвенно чётким: видны все спицы колеса, застывшие капли воды. И каждый быстро движущийся объект в таком кадре подвергается сильному алиасингу: отсутствует смазывание, которое ограничило бы спектр движения. Поэтому даже при 60 кадрах в секунду экшен-сцены, снятые с короткой выдержкой, выглядят «странно» – например, колёса могут казаться неподвижными или вращаться в обратную сторону.

В компьютерной графике реального времени – в играх и VR – нужен программный аналог. Рендер слегка смещает точки выборки от кадра к кадру и смешивает результаты; получается тот же эффект ограничения полосы, что и от физического затвора. Эта техника называется временны́м антиалиасингом (Temporal Anti-Aliasing, TAA) – и именно она объясняет, почему современные игры выглядят плавно при высокой частоте кадров и очень коротких эффективных «выдержках».

Рубеж 3 – корректная низкочастотная фильтрация при каждом уменьшении разрешения

Третий рубеж находится уже внутри программного конвейера – он срабатывает каждый раз, когда вы снижаете разрешение видео. Если у вас 4K-мастер и вы готовите из него 1080p-версию для доставки, вы заново дискретизируете 4K-изображение с меньшей частотой. Правило Котельникова работает точно так же: всё, что выше нового предела Найквиста, нужно отфильтровать до уменьшения, иначе возникнет алиасинг.

Любой нормальный видеоредактор делает это автоматически. По умолчанию в FFmpeg – самом популярном открытом видеоинструменте – используется алгоритм Lanczos, обеспечивающий качественное приближение идеального низкочастотного фильтра при уменьшении разрешения. Проблемы возникают только в том случае, если вы явно указали FFmpeg использовать менее качественный метод. Сравните:

# Хорошо: Lanczos — качественный низкочастотный фильтр, у FFmpeg по умолчанию
ffmpeg -i 4k.mp4 -vf "scale=1920:1080:flags=lanczos" 1080p.mp4

# Плохо: nearest-neighbour просто выбрасывает каждый второй пиксель без фильтрации
ffmpeg -i 4k.mp4 -vf "scale=1920:1080:flags=neighbor" aliased.mp4

Вторая команда практически полезна только в одном случае – показать клиенту, что алиасинг существует, если он в этом сомневается. На любой узорчатой поверхности в исходном изображении результат буквально кишит муаром.

Нажмите, чтобы увеличить

Частая ошибка: винить кодек в проблеме с матрицей

Сцена, с которой мы в Фора Софт сталкиваемся с неприятной регулярностью. Свадебный оператор сдаёт клиенту 4K-фильм, но на всех общих планах кружевное платье невесты покрыто заметным муаром. Клиент винит монтажёра, монтажёр – кодек. Кто-нибудь обязательно спросит, не поможет ли повышение битрейта.

Не поможет. Муар возникает не в кодеке – он уже заложен в самой записи с матрицы. Снимали на беззеркальную камеру высокого разрешения без OLPF, и пространственные частоты узора кружева превысили предел Найквиста матрицы – в результате муар «запёкся» в каждом кадре ещё на этапе съёмки. Никакие изменения битрейта, смена кодека или увеличение выходного разрешения его не устранят. Избавиться от него можно только на этапе съёмки: использовать камеру с более эффективным OLPF, изменить ракурс, чтобы нарушить регулярность узора, подобрать другое фокусное расстояние, влияющее на пространственные частоты на матрице, либо снимать в значительно более высоком разрешении и аккуратно уменьшать изображение с помощью алгоритма Lanczos.

Алиасинг всегда возникает выше по течению от того места, где вы его заметили. Чтобы устранить проблему, нужно двигаться вверх по тракту – к источнику нарушения.

Три оси на одной картине

Вот вся картина в одной таблице. Каждая видеокоманда так или иначе принимает три одинаковых решения. Сделайте их явными – и повесьте на стену.

Последнюю строку часто недооценивают. Если ваша платформа транслирует презентации с красным или синим текстом на белом фоне, кодирование по умолчанию в формате 4:2:0 может вызывать появление каймы по краям букв. Дешёвое и эффективное решение – включить в линейку битрейтов отдельный «графический пресет» с цветопередачей 4:2:2, либо принимать исходные файлы с таким профилем уже на этапе загрузки.

Чем мы занимаемся в Фора Софт

С задачей дискретизации мы работаем с обоих концов. В телемедицинских и охранных проектах ключевой вопрос – на стороне захвата: какой OLPF используется в выбранной камере и соответствует ли разрешение, выбранное клиентом, реальной детализации поля зрения. В OTT- и конференц-решениях акцент смещается на сторону доставки: каким фильтром конвейер снижает разрешение, подходит ли цветовая субдискретизация под тип контента и предусмотрен ли в линейке битрейтов отдельный шаг 4:2:2 для презентаций. Принцип остаётся одинаковым – меняются лишь инструменты.

Ключевые выводы

• Дискретизация – это измерение непрерывного сигнала с фиксированным шагом. Слишком редкие отсчёты приводят к потере деталей, которые затем проявляются в виде ложных узоров – это алиасинг (наложение спектров).
• Правило Котельникова: дискретизируйте сигнал с частотой, превышающей удвоенную частоту самой высокой составляющей. При меньшей частоте возникает алиасинг.
• Пространственный алиасинг проявляется в виде муара на повторяющихся узорах и «лесенок» на диагональных краях.
• Временной алиасинг вызывает эффект «обратного вращения» колеса повозки: быстрое вращение может казаться медленным или даже обратным.
• Цветовая субдискретизация (4:2:0) – это намеренное нарушение теоремы Котельникова, поскольку человеческий глаз слабо воспринимает мелкие цветовые детали. Такая схема позволяет сэкономить около 50 % битрейта.
• Антиалиасинг должен применяться на этапе захвата: оптический низкочастотный фильтр (OLPF) на матрице, 180-градусная выдержка для сглаживания движения, алгоритм Lanczos перед каждым уменьшением разрешения.
• Кодек не может устранить алиасинг, уже присутствующий в исходном материале. Исправлять его нужно на этапе съёмки.

Что читать дальше

• Что такое цифровое видео: от аналогового сигнала к битам
• Прогрессивная и чересстрочная развёртка
• Цветовые пространства: RGB, YCbCr, BT.709, BT.2020, DCI-P3