Perceptual quantization

Perceptual quantization – техника энкодера, тратящая биты там, где заметит глаз, и экономящая там, где не заметит. Вместо того чтобы считать каждый блок в кадре равно важным, энкодер анализирует локальное содержимое и подстраивает агрессивность квантизации (округления детали) под то, насколько видимой будет потеря для человека. Принцип: гладкая плоская область кожи или неба ясно показывает повреждения сжатия, тогда как занятый кусок травы или движущейся воды их скрывает.

Два основных механизма в современных энкодерах. psy-rd (psycho-visual rate-distortion) штрафует mode-decisions, которые сглаживают высокочастотную текстуру – энкодер слегка предпочитает варианты, «похожие» на исходник, даже когда они стоят больше бит. psy-rdoq (psycho-visual RDOQ) модифицирует этап квантизации, сохраняя шум и зерно, которые чистый rate-distortion округлил бы в ноль. Оба – настраиваемые параметры в x264 и x265 с разумными дефолтами, и уже они дают визуально лучшее видео, чем энкодеры без них. Content-adaptive quantization идёт дальше, обнаруживая лица, текст и движущиеся регионы и защищая их более тонкой квантизацией.

Для продуктовой команды perceptual quantization – самый важный «современный» трюк в качестве энкодера. Это часть причины, по которой x264 остаётся конкурентоспособным с новыми коммерческими энкодерами, по которой перцептивные режимы HEVC выглядят гораздо лучше его дефолтных математических режимов и по которой выход того же кодека сегодня выглядит драматически лучше, чем выход того же кодека в 2015 году. Цена – чисто вычислительная: perceptual quantization требует от энкодера дополнительного анализа на блок – но видимый прирост качества настолько большой, что практически любой production-энкодер выходит с включёнными перцептивными режимами по умолчанию.