Глава 6 из 10
Глава 6. ИИ в реальном времени: конвейер WebRTC
19 статей по порядку – 6 часов 2 минуты чтения. Ниже маршрут главы: высота каждого шага соответствует времени чтения.
Глава 6 из 10дальше: Агентный ИИ для видео
Девятнадцать уроков про ИИ внутри звонка, где бюджет на всё – сто миллисекунд: Insertable Streams и WebGPU, размытие фона, шумоподавление, живые субтитры, перевод, аватары и модерация прямо в SFU. Заканчивается тем, как всё это собирается в один ИИ-видеозвонок.
Маршрут главы
19 статей · 6 ч 2 мин6.1Бюджет задержки ИИ реального времени: как уложиться в 100 мсReal-time ИИ в видеопродукте означает, что весь цикл – захват, сеть, ИИ-инференс и воспроизведение – должен завершиться…16 мин·от начала главы 0 ч 0 мин6.2WebRTC + AI: Insertable Streams, Encoded Transform, WebGPU и сравнение video SDKДобавить ИИ в живой видеопродукт – это два вопроса: где в конвейере WebRTC вашему коду разрешено трогать каждый кадр и…19 мин·от начала главы 0 ч 16 мин6.3Как размыть фон в Zoom, Teams и на iPhone – инженерный разборРазмыть фон в Zoom, Microsoft Teams или на iPhone – это два-три касания, и эта статья показывает, где именно они…18 мин·от начала главы 0 ч 35 мин6.4Виртуальные фоны – сегментация и композитВиртуальный фон и размытый фон начинаются с одного и того же шага: маленькая нейросеть смотрит на каждый кадр видео и…12 мин·от начала главы 0 ч 53 мин6.5Шумоподавление в реальном времени в WebRTC – RNNoise WASM, DeepFilterNet и интеграция Krisp AIВ WebRTC-звонке у шумоподавления есть ровно три места, где оно может жить – встроенный браузерный подавитель, который вы…17 мин·от начала главы 1 ч 5 мин6.6Krisp, NVIDIA Maxine и Dolby – покупать или строить движок улучшения речиКогда вам нужно чистое аудио в живом видеопродукте, перед вами одно решение из двух слоёв: собрать движок улучшения речи…16 мин·от начала главы 1 ч 22 мин6.7Эхоподавление В WebRTC – Классический AEC + ИИ-гибридЭхо в браузерном звонке возникает, когда динамик одного собеседника проигрывает голос другого, микрофон ловит этот звук…17 мин·от начала главы 1 ч 38 мин6.8Бьюти-фильтры, коррекция взгляда и AR-эффекты – конвейер MediaPipeБьюти-фильтры, коррекция взгляда и эффекты дополненной реальности выглядят как разные функции, но работают на одном…18 мин·от начала главы 1 ч 55 мин6.9Живые субтитры – паттерн fan-out ASR на стороне SFUЖивые субтитры в видеозвонке – это бегущий текст того, что говорит каждый участник; его создаёт движок распознавания…17 мин·от начала главы 2 ч 13 мин6.10Клиентский ASR С Faster-Whisper-WASM В БраузереКлиентское распознавание речи – это когда слова, сказанные в микрофон, превращаются в текст кодом, который работает…18 мин·от начала главы 2 ч 30 мин6.11Перевод речи в реальном времени в WebRTC-звонке и в наушникахПеревод речи в реальном времени превращает сказанное одним человеком в другой язык достаточно быстро, чтобы вести живой…20 мин·от начала главы 2 ч 48 мин6.12Модерация контента в реальном времени в SFUМодерация контента в реальном времени – это задача поймать вредное видео, аудио или сообщение в живом звонке или…20 мин·от начала главы 3 ч 8 мин6.13Аватары и липсинк в реальном времени в видеозвонкеАватар в реальном времени в видеозвонке – это синтетическое лицо, которое слушает, думает и отвечает вживую: им…16 мин·от начала главы 3 ч 28 мин6.14ИИ-ассистент встреч на LiveKit в реальном времени – архитектура и ценыLiveKit – это open-source софт, который переносит живое аудио и видео между людьми, а его фреймворк Agents позволяет…19 мин·от начала главы 3 ч 44 мин6.15Ноутейкер встреч на LiveKit – полный репозиторийЭтот урок даёт вам готовый рабочий open-source проект: ноутейкер на LiveKit Agents, который входит в любую встречу как…24 мин·от начала главы 4 ч 3 мин6.16ИИ-коуч продаж на LiveKit – tool-calling и анализ экранаКоуч продаж – это программный участник, который подключается к живому звонку с клиентом, слушает обе стороны, видит…23 мин·от начала главы 4 ч 27 мин6.17ИИ-транскрипция встреч – ландшафт инструментовВсе инструменты ИИ-транскрипции встреч делают одно и то же – превращают разговор в звонке в текст с возможностью поиска…22 мин·от начала главы 4 ч 50 мин6.18Otter, Fireflies, Fathom, Supernormal – Разбор Meeting-БотовOtter, Fireflies, Fathom и Supernormal на страницах с фичами выглядят почти одинаково, но под капотом делают разные…19 мин·от начала главы 5 ч 12 мин6.19Сборка полноценного ИИ-видеозвонкаЭтот итоговый урок собирает все уроки главы 6 в одну работающую систему: живой видеозвонок, где картинку чистят, голос…31 мин·от начала главы 5 ч 31 мин
Строите такую систему?
Поможем выбрать кодек и собрать пайплайн под ваши объёмы – 20 лет в видеоразработке, 250+ проектов.