Энтропия (информация)

Entropy (энтропия) в теории информации – математическая нижняя граница того, насколько компактно можно lossless-закодировать данные. Введена Клодом Шенноном в 1948 году и отвечает теоретически на вопрос «каков абсолютный минимум бит для представления этих данных?». Источник с низкой энтропией (хорошо предсказуемый, много повторений) сжимается драматически; источник с высокой энтропией (случайный, непредсказуемый) lossless вообще не сжимается. Entropy в каком-то смысле – присущее сигналу количество информации.

Интуиция: если кадр видео в основном одного синего оттенка с парой деталей, энкодер описывает «всё синее, кроме этих пятен» очень малым числом бит – низкая энтропия, высокая сжимаемость. Если тот же кадр – сплошной случайный пиксельный шум, каждый пиксель – независимая информация и никакой умный код не сократит описание заметно – высокая энтропия, низкая сжимаемость. Реальное видео где-то между, и задача каждого кодека – преобразовать сигнал в форму с максимально низкой энтропией до финального кодирования, чтобы entropy-кодеру осталось мало работы.

Для продуктовой команды entropy не настраивается напрямую, но объясняет повторяющийся паттерн. Контент с высокой природной энтропией – снег, дождь, искрящаяся вода, конфетти, активный спорт – стабильно требует больше bitrate для приемлемой картинки, потому что сигнал реально содержит больше информации в секунду. Контент с низкой природной энтропией – говорящие головы, анимации, слайды, скринкасты статичного UI – требует гораздо меньше. Поэтому стриминговые сервисы используют per-title encoding (более дешёвые битрейтные лестницы для low-entropy контента, более агрессивные для high-entropy) и поэтому 90-минутный документальный фильм помещается в 500 МБ, а 90-минутный экшн при том же качестве требует 2 ГБ.