Будущее: сквозной обучаемый звук, громкость на базе ИИ, персональные миксы

Кратко

Сорок лет звук для видео был фиксированным продуктом: один микс, одно число громкости, одна звуковая дорожка – одинаково для каждого зрителя. Следующее десятилетие заменяет всё это звуком, который подстраивается под слушателя. Движут этим три сдвига: сквозные обучаемые системы, где одна нейросеть сжимает, чистит и даже генерирует звук вместо цепочки ручных инструментов; управление громкостью и диалогом на базе ИИ, позволяющее зрителю поднять речь, не трогая музыку, – это уже в эфире на ТВ и на устройствах Amazon; и персональные миксы, где язык, акцент, уровень диалога и пространственная расстановка выбираются под слушателя в момент воспроизведения. Та же механика размывает границы: кодек, восстанавливающий голос из тонкого потока данных, – в шаге от модели, которая этот голос выдумывает, а модель, переозвучивающая реплику на другом языке, – в шаге от той, что переформирует губы актёра под неё. Эта статья показывает, куда звук для видео реально идёт к 2030 году, отделяет то, что уже в проде, от того, что ещё в лаборатории, и честно говорит о цене, проблеме доверия и законах, приходящих вместе с этим.

Почему это важно

Если вы строите или владеете продуктом, несущим звук, – стриминг, конференц-инструмент, e-learning, телемедицина, – аудиорешения, которые вы принимаете сегодня, опираются на мир, который заканчивается. Вы отгружаете один микс и доверяете устройству зрителя его воспроизвести; попадаете в одно число громкости и надеетесь, что оно подойдёт любой комнате; делаете одну языковую дорожку и платите студии за каждый дубляж. Сдвиг, описанный здесь, превращает каждое из этих решений в то, что модель принимает под слушателя, в реальном времени, – и продукты, которые к этому готовятся, будут ощущаться на поколение впереди. Эта статья – для продакт-менеджера, основателя или операционного руководителя, которому нужно отличить реальную ближнюю возможность от обещания со сцены конференции: что строить сейчас, за чем следить и где вот-вот свяжут правила согласия, громкости и раскрытия. Это закрывающая статья раздела Audio for Video, поэтому она опирается на словарь предыдущих статей; где термин нужно освежить – он освежается здесь.

Старый контракт: один микс, навсегда

Начнём с того, что заканчивается, – иначе будущее не имеет смысла. Почти всю историю записанных медиа звук, который вы слышали, был миксом – единой сведённой записью, где инженер уже решил, насколько громко диалог сидит относительно музыки и эффектов, и навсегда впёк эти решения. Фильм, выпуск новостей, запись лекции: каждый выходил как один готовый микс, одинаковый для кинотеатра, гостиной, телефона в шумном поезде, для слабослышащего зрителя и для того, кто говорит на другом языке. Если диалог был слишком тихим под музыкой, тихий диалог получал каждый. Вашими единственными рычагами были общая громкость и, если повезёт, выбор из готовых языковых дорожек и субтитров.

Это работало, потому что производственная цепочка была последовательностью отдельных ручных инструментов, каждый со своей фиксированной задачей. Микрофон захватывал звук; кодек – программа, сжимающая звук в меньшее число бит, – ужимал его для доставки; нормализатор громкости толкал весь микс к стандартной цели; плеер декодировал его и отправлял на динамики. Каждый инструмент проектировали инженеры, изучившие задачу и написавшие правила вручную. Цепочка была надёжной, предсказуемой и совершенно жёсткой. Как только микс покидал студию, никто ниже по потоку не мог изменить баланс внутри него, потому что отдельные ингредиенты – голос, музыка, эффекты – уже были сплавлены в один поток.

Две силы растворяют эту жёсткость разом. Первая: отдельные ручные инструменты заменяются обучаемыми системами – нейросетями, которые выясняют задачу из данных, а не из свода правил, – а обучаемая система может делать несколько задач за один проход и подстраивать их под контекст. Вторая: звук возвращается к отгрузке в виде отдельных ингредиентов плюс инструкций, а не одного сплавленного микса, так что итоговый баланс можно решить при воспроизведении – зрителем или моделью, действующей за него. Сложите это – и фиксированный продукт станет гибким. Остальная статья – карта того, что это открывает.

Сдвиг первый: сквозной обучаемый звук

Фраза сквозной обучаемый звук означает замену цепочки отдельных ручных инструментов одной нейросетью – или небольшим стеком из них, – обученной принять звук на одном конце и выдать нужный результат на другом, выучив все промежуточные шаги из примеров, а не из написанных правил. «Сквозной» – ключевая часть: вместо микрофона, питающего ручной шумофильтр, питающий ручной кодек, питающий ручной восстановитель потерь, единая обучаемая система тренируется на всём пути сразу, поэтому она может балансировать шаги друг против друга так, как цепочка отдельных инструментов никогда не могла.

Первого члена этого семейства мы уже разобрали подробно. Нейросетевой аудиокодек – это программа сжатия, где сеть, а не инженер, учится ужимать звук в крошечный поток чисел и восстанавливать его, и лучшие из них достигают качества старых кодеков при в три-четыре раза меньшем числе бит. Важное для будущего – не экономия бит. Важно то, на что та же механика оказалась способна. Сеть, восстанавливающая убедительный голос из тонкого потока данных, механически почти та же, что предсказывает следующий кусок голоса, которого ещё нет. Сжатие и генерация – один навык, направленный в две стороны: сжатие отбрасывает всё, что декодер может предсказать, а генерация – это и есть предсказание. Поэтому грань между кодеком и генератором растворяется, и это самая важная идея статьи.

Посмотрите, как это каскадом проходит через старые инструменты. Задача сокрытия потери пакетов (PLC) – спрятать провал, когда кусок звука теряется в плохой сети, – была ручной догадкой, повторявшей последний хороший звук. Google WaveNetEQ заменил эту догадку сетью, которая генерирует правдоподобный звук, чтобы заполнить провал, ведь модель, предсказывающая звук, – это ровно то, что нужно сокрытию. То же происходит с шумоподавлением, эхоподавлением и самим кодеком – и конечное состояние не четыре отдельные сети, а тяга к одной. Обучаемый фронтэнд, который захватывает, чистит, сжимает, скрывает потери и отдаёт чистый поток токенов тому, что идёт дальше, – всё в одной обученной системе. Это и есть сквозная картина, и её части уже отгружаются.

Есть ещё один фронтир, который стоит назвать, потому что он меняет форму систем. Нейрокодеки, которые мы разобрали, превращают звук в дискретные токены – короткий список выборов из меню, как слова в предложении, которые языковая модель может предсказывать. Новейшие исследования спрашивают, нужна ли дискретность вообще: некоторые системы 2025 года генерируют звук из непрерывных внутренних представлений и пропускают шаг округления-до-меню целиком. Сохранит ли будущее дискретные аудиотокены или перейдёт к непрерывным – не решено, и это важно, потому что определяет, насколько чисто звук подключается к большим языковым моделям, всё чаще стоящим в центре всего. Держите неопределённость; не ставьте дорожную карту ни на один из ответов пока.

Сдвиг второй: громкость на базе ИИ и диалог, который реально слышно

Вот сдвиг, который дальше всех в проде, и который ваши пользователи заметят первым, потому что он чинит жалобу почти у всех: «Не слышу, что говорят, из-за музыки».

Сначала освежим словарь. Громкость – это насколько громким звук реально кажется человеческому уху, а современный способ её измерять – число под названием LUFS (Loudness Units relative to Full Scale), заданное стандартом ITU-R BS.1770. Пятнадцать лет «правильная громкость» означала толкнуть весь готовый микс к одной согласованной цели LUFS – в Европе рекомендация EBU R128 ставит её на −23 LUFS, – чтобы программы и каналы совпадали и никому не приходилось хвататься за пульт между передачами. Это громкость как одно число для всего микса, и она полезна: она закончила эпоху рекламы, орущей громче фильма.

Но одно число громкости для всего микса не может решить проблему диалога, потому что проблема не в том, что микс тихий, – а в том, что голос тихий относительно музыки и эффектов внутри этого микса. Чтобы это починить, нужно залезть внутрь готового микса, найти речь и поднять только речь. Десятилетиями после сведения это было невозможно, ведь голос и музыка были одним неразделимым потоком. Теперь два подхода делают это возможным, и они точно ложатся на две силы из начала статьи.

Первый подход – объектно-ориентированный звук: отгружать диалог, музыку и эффекты как отдельные ингредиенты – «объекты», каждый со своими инструкциями, вместо одного сплавленного микса, чтобы плеер мог подстроить уровень диалога сам. Это встроено в MPEG-H 3D Audio, стандарт иммерсивного звука, несомый в системе вещания ATSC 3.0, уже в эфире в США и Южной Корее. На телевизоре NextGen сегодня зритель может поднять уровень диалога внутри трансляции в пределах, заданных вещателем и присланных как метаданные. Вещатель также может авторить пресет-миксы – пресет «чёткий диалог», пресет «домашний кинотеатр», спортивный пресет, дающий приглушить комментатора и поднять трибуны. Микс больше не одна фиксированная вещь; это набор ингредиентов плюс несколько регуляторов.

Второй подход использует обучаемую систему, чтобы решить ту же проблему для огромной библиотеки контента, уже сведённого по-старому, где отдельных ингредиентов нет. Dialog+ от Fraunhofer – это глубокая нейросеть (нейросеть – модель с миллионами настраиваемых чисел), обученная слушать готовый микс и вытаскивать диалог обратно из него, так что уровень речи становится регулируемым, даже если отдельные объекты никто не отгружал. Немецкие общественные вещатели WDR и BR провели первые крупномасштабные публичные полевые тесты, начав в сентябре 2020 года. Цифры из тестов – причина, по которой это важно коммерчески, а не только технически. В опросе более двух тысяч зрителей 90% людей старше шестидесяти сообщили о трудностях с пониманием телевизионной речи «часто» или «очень часто», а 83% всех участников – включая тех, кто обычно не страдает, – сказали, что им нравится возможность включить Dialog+. Функция, которую хотят четверо из пяти зрителей, – не ниша доступности; это приходящее массовое ожидание.

Та же идея дошла до потребительских устройств через Dialogue Boost от Amazon. Он запустился на Prime Video в 2022-м на облачной обработке, затем был сжат до менее одного процента исходного размера при почти неизменном качестве, чтобы работать на устройстве – на Fire TV или колонке Echo – и применяться к звуку из любого приложения, включая Netflix, YouTube и Disney+. В тестах Amazon более 86% участников предпочли звук с усиленным диалогом, поднявшись до 100% одобрения среди людей с потерей слуха. Механика – то самое нейросетевое разделение источников из обзора ИИ в звуке: сеть, разбивающая микс на части, здесь – чтобы поднять одну часть.

Покажем арифметику громкости один раз, потому что она делает разницу конкретной. Допустим, документальный фильм сведён так, что диалог в среднем −27 LUFS, а музыка −24 LUFS. Музыка громче голоса:

−24 LUFS (музыка) − (−27 LUFS) = на 3 LU громче

Традиционный нормализатор, толкающий весь микс к −23 LUFS, сохраняет этот разрыв в 3 LU ровно – всё двигается вверх вместе, и голос остаётся погребённым. Система, чувствительная к диалогу, объектная или обучаемая, вместо этого поднимает только речь, скажем на 6 LU:

−27 LUFS + 6 LU = −21 LUFS (диалог), музыка без изменений на −24 LUFS

Теперь голос сидит на 3 LU выше музыки, и зритель может за ним следить. Тот же контент, две философии: громкость как одно число для всего микса против громкости как поингредиентного управления, которым слушатель может рулить. Будущее – решительно второе.

Нажмите, чтобы увеличить

Сдвиг третий: персональный микс

Как только звук отгружается ингредиентами плюс инструкциями, а не одним сплавленным миксом, уровень диалога – лишь первый регулятор. Персональный микс – это общий случай: язык, акцент, уровень диалога, описательная закадровая дорожка, пространственная расстановка и баланс под устройство – всё выбирается для конкретного слушателя в момент воспроизведения. Грядущее десятилетие превращает «микс» из существительного, которое отгружает студия, в глагол, который выполняет плеер.

Части уже существуют как отдельные функции, и будущее – в основном их схождение. Объектная модель ATSC 3.0 уже позволяет вещателю предложить диалог на других языках, вспомогательные аудиоуслуги, спецкомментарий и дорожки только-музыка-и-эффекты, сводимые на устройстве под предпочтение зрителя. Netflix добавил более тринадцати тысяч часов аудиоописания – закадрового рассказа о происходящем на экране для слепых и слабовидящих – на тридцати четырёх языках только за 2025 год, скачок на 30% за год, и построил функцию «поиск по языку», чтобы зритель мог найти контент по его дубляжу, субтитрам или атрибутам доступности. Это примитивы персонализации: зритель больше не принимает один микс, а собирает тот, что хочет, из меню.

Фронтир, превращающий меню в нечто действительно новое, – конверсия языка и голоса в реальном времени – переозвучка контента на другой язык с сохранением голоса и эмоциональной подачи оригинального диктора. Семейство Seamless от Meta – самый ясный публичный маркер того, куда это идёт. SeamlessExpressive переводит речь, сохраняя вокальный стиль и просодию – ритм, ударения и мелодику речи, включая темп и паузы диктора, – так что перевод звучит как тот же человек, говорящий на новом языке, а не как плоский робот-дубляж. SeamlessStreaming делает это не дожидаясь конца фразы, используя механизм внимания, выдающий перевод по ходу речи говорящего, с задержкой достаточно низкой для живого разговора. Сложите это – и вы получите возможность, перекраивающую локализацию: зритель в Сан-Паулу и зритель в Сеуле смотрят одну лекцию, каждый слыша собственный голос преподавателя на своём языке, выбранном при воспроизведении.

Конверсия акцента – та же технология, нацеленная на другую ось. В марте 2026 Krisp запустил конверсию акцента на стороне клиента, переформирующую акцент входящего говорящего в более ясный для слушателя, в реальном времени, при этом – и это сложная часть – сохраняя сарказм, срочность, нерешительность и теплоту, несущие смысл. Технический вызов во всех этих случаях один: изменить как звук производится, оставив что он значит нетронутым. Это ровно разделение семантических и акустических токенов, которое мы встретили в нейрокодеках – отделение что сказано от как звучит, – теперь несущее нагрузку в продукте: когда вы можете править эти две стороны независимо, вы можете подменить язык или акцент (акустическая сторона), удержав смысл и эмоцию (семантическая сторона) фиксированными.

Есть и тихая обратная задача, завершающая картину, – там, где звук тянется обратно в видео. Если переозвучить фильм на новый язык, губы актёра больше не совпадают со словами – синхронизация губ ломается, а человеческий глаз к этому беспощаден. Ответ 2025 года – визуальный дубляж: ИИ, переформирующий рот актёра в видео под новый дублированный звук. TrueSync от Flawless строит 3D-модель лица исполнителя и адаптирует движения рта под новый диалог на постпродакшене, работая до 8K и держась на киноэкране; его DeepEditor, выпущенный в феврале 2025, позволяет редакторам изменить реплику, сохранив оригинальную эмоциональную игру. Шведский фильм Watch the Skies шёл в кинотеатрах США в мае 2025 года, визуально дублированный на английский. Это звук, управляющий видео, – обратная сторона задач lip-sync, которым Блок 5 посвятил девять статей, и доказательство, что в будущем обучаемых медиа аудио- и видеоконвейеры перестают быть отдельными.

Что реально сейчас, а что ещё обещание

Честная карта важнее хайпа, так что вот она в одной таблице, отсортированной по тому, насколько каждая возможность близка к тому, что можно отгрузить.

Читайте сверху вниз как таймлайн. Верхние строки – решения «брать или строить», которые можно принять сегодня; средние – то, что стоит пилотировать и пристально наблюдать ближайшие два года; нижние – идеи, формирующие дорожную карту, но ещё не продукты. Самая частая ошибка – прочитать демо из нижней строки и заложить бюджет, как будто это продукт из верхней.

«Подвох – «демо работает, значит продукт готов». Обучаемый звук необычайно хорош в выдаче ошеломляющего тридцатисекундного демо и непригодной круглосуточной службы. Перевод с клонированием голоса, безупречный на чистом студийном образце, разваливается на шумном звонке; разделитель диалога, чёткий на трейлере, мажет на плотной боевой сцене; визуальный дубляж, держащийся на одном лице, проваливается на толпе. Разрыв – не качество модели, которое вы видели, а длинный хвост реальных условий, которых демо избегало. Прежде чем привязать дорожную карту к любой возможности из нижней половины таблицы, прогоните её на вашем худшем входе: самый шумный звонок, самый плотный микс, самый сложный акцент, самое слабое устройство. Вопрос никогда не «может ли оно это раз», а «сколько стоит делать это каждый раз для каждого, включая случаи, которые демо пропустило». Для большинства живых продуктов в 2026 скучные ручные инструменты – Opus для транспорта, настроенный jitter buffer для устойчивости – всё ещё бьют обучаемые по цене и надёжности, а обучаемые части зарабатывают место по одной доказанной функции за раз.»

Проблема доверия едет вместе с возможностью

У каждой возможности из нижней половины таблицы один движок, и этот движок создаёт проблему, которой у старого мира фиксированного микса не было. Модель, способная восстановить голос из тонкого потока токенов, – того же рода, что может сгенерировать этот голос, говорящий то, чего человек никогда не говорил. Модель, переозвучивающая реплику на новом языке, – в одном шаге настройки от той, что вкладывает новые слова в уста говорящего. Система, переформирующая губы под дублированный звук, механически – система, способная заставить кого угодно выглядеть говорящим что угодно. Когда ваше сжатие, ваш перевод и ваш синтез – одна и та же нейросеть, направленная в разные стороны, «реален ли этот звук» перестаёт быть вопросом, на который технология может ответить за вас.

Ответ приходит на двух фронтах разом. Технический фронт – происхождение: маркировка синтетического звука, чтобы его можно было обнаружить ниже по потоку. Работа Meta над Seamless отгрузила неслышимый локализованный водяной знак именно чтобы смягчить эффект дипфейков, и маркировка выхода генеративных аудиосистем становится стандартной практикой, а не запоздалой мыслью. Юридический фронт – раскрытие. Обязанности прозрачности по статье 50 EU AI Act – которые применяются с 2 августа 2026 года – требуют от поставщиков генеративных систем машинно маркировать синтетический звук и требуют от внедряющих раскрывать аудио-дипфейки. Как мы разбирали в обзоре ИИ в звуке, США двигаются по той же оси через предлагаемые федеральные и штатные законы о подобии. Практический вывод для строителя продукта: любая функция, генерирующая или преобразующая узнаваемый голос, теперь несёт обязанность согласия-и-раскрытия, и место, где она крепится, движется от очевидных инструментов (студия дубляжа) в водопровод (кодек, слой перевода, конференц-конвейер). Встройте маркировку с самого начала; это куда дешевле, чем дооснащать.

Нажмите, чтобы увеличить

Аудио-конвейер 2030 года, набросок

Сложите три сдвига – и можно набросать конвейер, который видеопродукт правдоподобно гоняет к 2030 году. Это не научная фантастика; каждый блок ниже существует в какой-то отгружаемой или почти отгружаемой форме сегодня, и изменение – в том, как они соединяются.

На захвате единый обучаемый фронтэнд заменяет цепочку отдельных инструментов. Одна сеть берёт сигнал микрофона и за один проход подавляет шум, гасит эхо, детектирует речь и выдаёт чистый поток токенов – захваченный звук уже в компактной, готовой для модели форме, которую мы встретили как токены нейрокодека. Нет отдельных шумофильтра, эхоподавителя и кодировщика; есть одна обученная система, делающая всё это, потому что обучать их вместе лучше, чем сцеплять порознь.

На транспорте прагматичный ответ всё ещё раздвоен. Для обычного голоса в реальном времени между знакомыми людьми Opus или его традиционный преемник несёт поток, потому что декодируется почти бесплатно на любом устройстве. Для всего, что касается модели – ассистенты, перевод, генерируемая закадровая дорожка, – звук едет токенами, потому что это форма, в которой думает модель. Конвейер несёт оба и выбирает под функцию.

На воспроизведении фиксированного микса больше нет. Контент приходит ингредиентами плюс инструкциями, а модель на устройстве или рядом с ним собирает микс для этого слушателя: его язык (переозвученный оригинальным голосом), его уровень диалога, его предпочтение акцента, идеальную для его устройства пространственную расстановку, его потребности доступности. Цель громкости больше не одно число для всех, а персональная – учитывающая контент, комнату и слушателя. И рядом с каждым генерируемым или преобразованным элементом едет знак происхождения и, где требует закон, раскрытие.

Честная оговорка закрывает набросок. Блокеры этого конвейера – не воображение; это вычисления, контроль и доверие. Гонять обучаемые модели на каждом кадре для каждого слушателя стоит процессорного времени и батареи, которые не каждое устройство может потратить, – поэтому скучные инструменты продолжают выигрывать чувствительные к цене задачи. Дать модели тонкий контроль – поднять этот голос настолько без замазывания музыки – всё ещё несовершенно. А слой доверия нужно решать в ногу, иначе возможность обгонит готовность публики верить тому, что она слышит. Будущее приходит функция за функцией, сверху той таблицы готовности вниз, и побеждают команды, перенимающие каждую часть в момент, когда она пересекает грань от демо к надёжному, – не на год раньше и не на год позже.

Где здесь Фора Софт

Мы строим конференции, e-learning, телемедицину, OTT-стриминг и видеонаблюдение, и наша позиция по обучаемому звуку – та же дисциплина, что мы несём к любой хайповой технологии: перенимать доказанную часть, пилотировать перспективную и отказываться отгружать демо-часть за счёт клиента. Для живых звонков мы всё ещё берём скучный надёжный стек – Opus для транспорта, настроенный WebRTC-аудиоконвейер для устойчивости, – потому что он выигрывает по цене и надёжности сегодня. Где мы наблюдаем и пилотируем жёстче всего – персональный слой: чёткость диалога для e-learning и телемедицины, где быть понятым – весь продукт; язык и доступность под слушателя для OTT, где аудитория глобальна; и водопровод происхождения и раскрытия, потому что любой продукт, касающийся узнаваемого голоса, наследует обязанность согласия, которую дешевле спроектировать, чем прикрутить. Правильный вопрос для клиента никогда не «использовать ли ИИ-звук», а «какую проблему слушателя обучаемая модель решает достаточно хорошо и дёшево, чтобы отгрузить в этом году», – и этот фронтир сдвигается каждый квартал.

Главное

• Фиксированный единый микс заканчивается; звук движется к миксам под слушателя.
• Сквозные обучаемые системы сливают захват, чистку, кодирование и сокрытие в одну сеть.
• Контроль диалога уже в проде – объектный на ТВ, обучаемый (Dialog+, Amazon) на устройствах.
• 83% зрителей хотят опцию чёткости диалога; это мейнстрим, а не ниша.
• Персональные миксы добавляют язык, акцент и доступность под слушателя при воспроизведении.
• Сжатие и генерация – один навык, поэтому происхождение и раскрытие едут вместе.

Что почитать дальше

• ИИ в звуке для видео: клонирование голоса, дубляж, реставрация, генеративная музыка
• Нейросетевые аудиокодеки: Lyra, EnCodec, SoundStream и что дальше
• Нормализация громкости: EBU R128, ITU-R BS.1770, ATSC A/85