Parallel encoding

Parallel encoding – техника распределения работы кодирования видео по многим ядрам CPU, GPU или даже нескольким машинам одновременно, вместо последовательного выполнения на одном процессоре. Без параллелизма кодирование 4K HDR-фильма на высоком качестве может занять день на одном CPU-ядре; с параллелизмом ту же работу можно закончить за минуты, распределив её по десяткам или сотням ядер. Для любого production-пайплайна в масштабе parallel encoding – это разница между жизнеспособным бизнесом и невозможным.

Современные кодеки поддерживают несколько уровней параллелизма. Frame-level parallelism кодирует независимые кадры (или короткие группы кадров) одновременно на разных ядрах. Tile parallelism (HEVC, AV1, VVC) делит каждый кадр на независимые прямоугольные регионы, кодируемые параллельно. Slice parallelism – эквивалент эпохи H.264, менее эффективный, чем tile. Wavefront parallel processing (`wavefront`) параллелит внутри кадра, обрабатывая ряды CTU со смещёнными offset'ами. Chunked encoding на уровне пайплайна делит видео на много коротких чанков (скажем, по 10–30 секунд каждый), кодирует каждый на отдельном облачном воркере, потом сшивает результаты – так Netflix, YouTube и Mux масштабируют encoding всей библиотеки до часов.

Для продуктовой команды parallel encoding – инженерная способность, делающая экономически жизнеспособным любой серьёзный VOD-пайплайн. Практический рецепт: используйте облачный encoding-сервис (AWS MediaConvert, Mux, Bitmovin, Coconut, стойки NETINT VPU), который делает chunked encoding за вас, автоматически параллелясь между множеством воркеров. Для live-кодирования аппаратные энкодеры (NVENC, Quick Sync, VideoToolbox) обрабатывают параллелизм внутри выделенного кремния. Экономическая история: parallel encoding превращает «нам нужен месяц на перекодирование каталога» в «закончим к пятнице» – и именно эта масштабируемость делает коммерчески возможным per-title encoding, A/B-тестирование новых кодеков и быструю миграцию каталога.