Глава 6 из 6
Глава 6. Пространственный звук, измерение качества и будущее
Двенадцать статей по порядку – 4 часа 20 минут чтения. Ниже маршрут главы: высота каждого шага соответствует времени чтения.
Глава 6 из 6
От стерео к объектному и сценному звуку: Atmos, MPEG-H, Ambisonics и бинауральный рендеринг для VR и конференций. Рядом – как качество звука измеряют объективно и на слушателях, и что уже умеют нейросетевые кодеки и ИИ-дубляж.
Маршрут главы
12 статей · 4 ч 20 мин6.1От стерео к иммерсивному звуку: 60-летняя история многоканального аудиоМногоканальный звук прошёл путь от одного динамика ко многим тремя большими скачками: стерео (два канала, 1930-е),…21 мин·от начала главы 0 ч 0 мин6.2Канальное, объектное и сценное аудио: в чём разницаОписать звуковую сцену компьютеру можно лишь тремя способами: перечислить динамики (канальное аудио), перечислить звуки…19 мин·от начала главы 0 ч 21 мин6.3Dolby Atmos для кино, вещания, музыки и стримингаDolby Atmos – это один формат, который носит четыре разных облика: в кинозале это до 128 аудиодорожек, рендеримых вживую…25 мин·от начала главы 0 ч 40 мин6.4MPEG-H 3D Audio: открытый стандарт иммерсивного звука ISOMPEG-H 3D Audio – это открытая, стандартизованная в ISO система звука, на которой построены вещание нового поколения и…18 мин·от начала главы 1 ч 5 мин6.5Ambisonics, HRTF и бинауральный рендерингПространственный звук в наушниках держится на трёх идеях, которые складываются в конвейер: способ записать или описать…17 мин·от начала главы 1 ч 23 мин6.6Пространственный звук в VR/AR-стримингеПространственный звук в VR и AR держится на одном различии: реагирует ли звук только на то, куда вы *смотрите* (три…15 мин·от начала главы 1 ч 40 мин6.7Пространственный звук в конференциях и групповых звонкахПространственный звук в видеозвонке размещает голос каждого участника там, где на экране стоит его плитка: говорящий…22 мин·от начала главы 1 ч 55 мин6.8Объективные метрики качества аудио: PESQ, POLQA, ViSQOL, AAC-QОбъективная метрика качества аудио – это программа, которая «слушает» обработанный аудиоклип так, как это сделала бы…23 мин·от начала главы 2 ч 17 мин6.9Субъективное тестирование звука: MUSHRA, MOS, AB и ABXСубъективное тестирование аудио – это когда клипы дают послушать реальным людям и просят оценить или сравнить…27 мин·от начала главы 2 ч 40 мин6.10ИИ в аудио для видео: клонирование голоса, дубляж, реставрация, генерация музыкиМашинное обучение теперь касается каждого этапа звукового тракта видеопродукта, и пришло оно через четыре двери: оно…26 мин·от начала главы 3 ч 7 мин6.11Нейросетевые аудиокодеки: Lyra, EnCodec, SoundStream и что дальшеНейросетевой аудиокодек – это программа сжатия, в которой не вручную написанный алгоритм, а нейросеть учится по данным…28 мин·от начала главы 3 ч 33 мин6.12Будущее: сквозной обучаемый звук, громкость на базе ИИ, персональные миксыСорок лет звук для видео был фиксированным продуктом: один микс, одно число громкости, одна звуковая дорожка – одинаково…19 мин·от начала главы 4 ч 1 мин
✓Конец курса – это была последняя глава
Строите такую систему?
Поможем выбрать кодек и собрать пайплайн под ваши объёмы – 20 лет в видеоразработке, 250+ проектов.