Глава 4 из 6
Глава 4. Звук в реальном времени: конвейер WebRTC
Четырнадцать статей по порядку – 5 часов 28 минут чтения. Ниже маршрут главы: высота каждого шага соответствует времени чтения.
Глава 4 из 6дальше: Синхронизация звука и видео, метки времени
Конвейер WebRTC поимённо: эхоподавление, регулировка усиления, шумоподавление, детектор речи, буфер джиттера, маскировка потерь и избыточность FEC. Каждый узел разобран по тому, что он делает с задержкой и разборчивостью, а заканчивается глава плейбуком диагностики.
Маршрут главы
14 статей · 5 ч 28 мин4.1Аудиоконвейер WebRTC целиком: от микрофона до динамикаОпубликовано: 2026-06-06 · Время чтения: 24 мин · Автор: Nikolay Sapunov, CEO в Фора Софт26 мин·от начала главы 0 ч 0 мин4.2Акустическое эхоподавление (AEC): как это на самом деле работаетАкустическое эхо возникает, когда звук из вашего динамика снова попадает в ваш же микрофон и уходит обратно собеседнику,…26 мин·от начала главы 0 ч 26 мин4.3Автоматическая регулировка усиления (AGC): как держать громкость голоса ровнойАвтоматическая регулировка усиления, по-английски AGC, – это часть голосовой системы, которая делает каждого говорящего…25 мин·от начала главы 0 ч 52 мин4.4Шумоподавление: классическое NS, RNNoise, Krisp, NVIDIA RTX VoiceШумоподавление – это часть голосовой системы, которая убирает ровный шип, вентилятор, клавиатуру и кафе за спиной…31 мин·от начала главы 1 ч 17 мин4.5Детектор речевой активности (VAD) и прерывистая передача (DTX)Детектор речевой активности, по-английски VAD, – это небольшой модуль голосовой системы, который много раз в секунду…20 мин·от начала главы 1 ч 48 мин4.6Буфер джиттера: NetEQ, мозг звука в WebRTCПакеты выходят от отправителя ровным ритмом – по одному каждые 20 миллисекунд, – но интернет доставляет их неравномерно:…25 мин·от начала главы 2 ч 8 мин4.7Маскировка потерь пакетов (PLC): как скрыть пропавшие кадрыКогда звуковой пакет теряется в сети, получатель не может его дождаться – динамику нужен свежий кусочек звука прямо…26 мин·от начала главы 2 ч 33 мин4.8Forward Error Correction (FEC), In-Band FEC и RED-избыточностьForward error correction, или FEC, – это приём, при котором немного дополнительного звука отправляется заранее, так что…29 мин·от начала главы 2 ч 59 мин4.9Управление битрейтом и полосой пропускания в звуке реального времениВ живом звонке свободная ёмкость сети меняется каждую секунду, поэтому приложение постоянно угадывает, сколько данных…17 мин·от начала главы 3 ч 28 мин4.10Подавление эха на громкой связи, Bluetooth и AirPodsПодавление эха работает почти идеально на проводной гарнитуре и почти разваливается на Bluetooth-громкой связи, и…18 мин·от начала главы 3 ч 45 мин4.11Аудио в SFU, MCU и P2PКогда в звонке больше двух человек, что-то посередине должно решить, как голос каждого участника дойдёт до всех…19 мин·от начала главы 4 ч 3 мин4.12Конвейеры записи и транскрипции: где аудио покидает звонокЖивой звонок держит голос каждого участника на собственном пути, чтобы разговор ощущался мгновенным, но как только вам…21 мин·от начала главы 4 ч 22 мин4.13Групповые звонки при масштабировании: 50, 500, 5000 участниковГрупповой звонок, который идеально работает на десяти участниках, может начать сбоить на пятидесяти, упасть на пятистах…21 мин·от начала главы 4 ч 43 мин4.14Диагностика проблем со звуком в рабочей системе: runbookКогда пользователь сообщает, что на живом звонке «не работает звук», причина почти всегда одна из пяти, и найти её можно…24 мин·от начала главы 5 ч 4 мин
Строите такую систему?
Поможем выбрать кодек и собрать пайплайн под ваши объёмы – 20 лет в видеоразработке, 250+ проектов.