Материал
Перевод речи в реальном времени (наушники и WebRTC) – инженерная шпаргалка
Одна страница: конвейер из четырёх шагов (услышать, ASR, машинный перевод, TTS); наушники как аудио-точка перед конвейером (на устройстве против связки телефон+облако); каскад против прямой модели; почему перевод переписывает себя (порядок слов, отставание от оратора, стратегия wait-k, заменять до финала); бюджет задержки (~1 с машина + ~2-3 с ожидание; ITU-T G.114 150 мс / <800 мс живо / потолок AIIC 3-5 с); раздача по языку слушателя на SFU (субтитры по RFC 8831, приглушённый звук на вставленной Opus-дорожке RFC 6716, гейт VAD); стоимость по языкам ($21,60 за час на 3 языка); чек-лист «строить или покупать».
Что внутри
- Конвейер из четырёх шагов
- «Наушники с переводом» = аудио-точка перед конвейером
- Каскад vs прямая модель (как собрать мозг)
- Почему переписывает себя + бюджет задержки
- В WebRTC-звонке: перевести один раз на SFU, раздать по языкам
- Чек-лист «строить или покупать»
Кому пригодится
Тем, кто раздаёт перевод речи по языкам слушателей в звонке или в наушниках. Шпаргалка разбирает конвейер из четырёх шагов, каскад против прямой модели, почему перевод переписывает сам себя, бюджет задержки с потолком AIIC и стоимость 21,60 доллара за час на три языка – без бюджета ожидания фичу выкатывают и слышат кашу.
Без регистрации и почты – файл открывается сразу
Источник
Из какого курса материал
ИИ в видеоинженерии
Компьютерное зрение, речь, мультимодальные модели, генеративное видео, агенты и регламент ЕС об ИИ.
Перевод речи в реальном времени в WebRTC-звонке и в наушниках
Перевод речи в реальном времени превращает сказанное одним человеком в другой язык достаточно быстро, чтобы вести живой…
Ещё материалы
Похожие материалы
Все материалы →Выбираете технологию под проект?
Пройдём чек-лист вместе и посчитаем стоимость вариантов на ваших объёмах.