Учебный курс · обновлён в августе 2026

ИИ в видеоинженерии: от кадра до агента

Name: ИИ в видеоинженерии: от кадра до агента
Author: Николай Сапунов

Модель в видеопродукте живёт не там, где её показывают в демо, а внутри бюджета задержки и счёта за инференс. Практический курс инженеров Фора Софт: цены считаются в цифрах, требования цитируются по номерам статей регламента.

10 глав99 статей~150 терминов~42 ч чтения

Автор – Николай Сапунов, директор Фора Софт

Выбрать путь чтения →Все главы Открыть глоссарий

Программа

Все главы курса

10 глав · 99 статей · ~42 ч чтения

01Ориентация: где ИИ встраивается в видеопродуктЧетыре решения, которые принимают до первой строки кода: где ИИ уместен в видеопродукте, что он делает с задержкой, какие артефакты моделей закупают и сколько на самом деле стоит инференс. Дальше главы читаются как развёрнутые ответы на эти вопросы.базовый4 статьи · ~1 ч 02Примитивы компьютерного зрения в рабочей системеПримитивы компьютерного зрения, которые доезжают до рабочей системы: детекция и трекинг, сегментация и поза, OCR, глубина, оптический поток, апскейл архива, поиск аномалий. Отдельно – где мультимодальная модель заменяет кастомный CV и что с лицами разрешает EU AI Act.средний18 статей · ~9 ч 03Звук и речь: распознавание, синтез, шумоподавлениеРечь в видеопродукте от распознавания до синтеза: потоковый ASR, диаризация, клонирование голоса и согласие по NO FAKES Act, TTS, шумо- и эхоподавление, перевод речи в реальном времени. Здесь же цены поставщиков, из которых складывается стоимость минуты.средний10 статей · ~4 ч 04Мультимодальные модели: от CLIP до видео-VLMМультимодальные модели: контрастное обучение CLIP, видео-VLM и главный их размен – сэмплирование кадров против потока токенов. Рядом закрытый и открытый фронтир поимённо, дообучение под домен, поиск по видеоархиву на мультимодальном RAG и computer-use агенты.продвинутый7 статей · ~4 ч 05Генеративное видео: интеграция и производствоГенеративное видео как часть продукта, а не как демо: закрытые API и открытые веса с ценами, приёмы ускорения, согласованность персонажа и сцены, липсинк и аватары. Заканчивается тем, без чего это не выпускают, – C2PA и раскрытием по статье 50 EU AI Act.продвинутый9 статей · ~3 ч 06ИИ в реальном времени: конвейер WebRTCДевятнадцать уроков про ИИ внутри звонка, где бюджет на всё – сто миллисекунд: Insertable Streams и WebGPU, размытие фона, шумоподавление, живые субтитры, перевод, аватары и модерация прямо в SFU. Заканчивается тем, как всё это собирается в один ИИ-видеозвонок.продвинутый19 статей · ~6 ч 07Агентный ИИ для видеоЧем агент отличается от генеративной модели и из чего он собран: инструменты, память, планирование, выбор фреймворка. Три кейса разобраны целиком – исследование видеоархива, копилот встречи, асинхронное ревью, – а замыкает главу AgentOps: оценка, безопасность, стоимость, наблюдаемость.продвинутый9 статей · ~3 ч 08Эксплуатация видео-ИИ: сервинг, стоимость, регуляторикаВсё, что начинается после того, как модель заработала: стенды оценки и LLM-as-judge, инференс-сервинг на vLLM и Triton, дистилляция и квантизация под edge, двадцать пять рычагов стоимости и требования EU AI Act к биометрии.продвинутый5 статей · ~2 ч 09Отраслевые плейбуки: ИИ по индустриямДвенадцать плейбуков по индустриям: видеоконференции, OTT, телемедицина, онлайн-образование, видеонаблюдение, прямые эфиры, фитнес, соцсети и UGC, промышленность, live shopping. В каждом – какие функции ИИ окупаются именно здесь и на чём в этой отрасли спотыкаются.средний12 статей · ~5 ч 10Итоговые проектыШесть систем, собранных целиком: ИИ-видеозвонок, расследование по видеонаблюдению с мультимодальным агентом, телемедицинский приём с ИИ-скрайбом, генеративный B-roll для OTT, поиск по видеоархиву и модерация ста тысяч роликов в сутки. Это проверка на то, складываются ли предыдущие девять глав в работающий продукт.продвинутый6 статей · ~4 ч

Результат

Чему вы научитесь

Выбирать между внешним API и своей моделью

Что узнаете: как складывается стоимость инференса за токены против своей модели на своём железе и где эти две кривые пересекаются. Почему важно: решение принимают один раз, а платят по нему каждый месяц.

Считать бюджет задержки в реальном времени

Что узнаете: из чего складываются сто миллисекунд между кадром и результатом – захват, инференс, сеть, рендер – и что из этого поддаётся сокращению. Почему важно: модель, не влезающая в бюджет, в звонке бесполезна при любой точности.

Собирать конвейер компьютерного зрения

Что узнаете: как из кадра получается событие – предобработка, детектор, трекер, постобработка – и чем YOLO отличается от детекции по открытому словарю. Где применяется: видеонаблюдение, ритейл, промышленность, спорт.

Встраивать речь: распознавание и синтез

Что узнаете: чем потоковый ASR отличается от пакетного, как считают цену минуты у Whisper, Deepgram и ElevenLabs и что шумоподавление делает с разборчивостью. Где применяется: видеосвязь, субтитры, дубляж, голосовые агенты.

Строить агентов и держать их под контролем

Что узнаете: из чего собран цикл агента – инструменты, память, планирование – и что измеряет AgentOps: качество, безопасность, стоимость, наблюдаемость. Почему важно: агент без оценки неотличим от агента, который уверенно врёт.

Проходить по регламенту ЕС об ИИ

Что узнаете: какие практики регламент запрещает, что относит к высокому риску и что требует раскрывать по статье 50, включая C2PA для генеративного видео. Почему важно: требование к раскрытию меняет интерфейс продукта, а не только документы.

Как читать

Сколько у вас времени?

три пути через одни и те же 10 глав

Кому подходит

Для менеджера продукта: понять, где в продукте место для ИИ и сколько это стоит.

Начать путь A →

Строите такую систему?

Поможем выбрать кодек, собрать пайплайн кодирования и посчитать инфраструктуру до старта разработки.

Обсудить проект →Смотреть кейсы

С чего начать

Первая статья курса

или сразу к своей теме

Глава 1 · статья 1.1Форма ИИ внутри видео-продуктаСовременный видео-продукт – это не «одно место, где живёт ИИ», а пять разных мест, у каждого свой бюджет задержек, своя…Читать · 21 мин →

Если основы знакомы – первая статья каждой главы

Глава 2Предобработка видео для ML – Computer Vision проекты, применения и инженерный плейбук 202630 мин Глава 3Streaming ASR в проде – Whisper, Deepgram и AssemblyAI в 202626 мин Глава 4CLIP и контрастное обучение vision-language – введение для каждого инженера видео-ИИ28 мин Глава 5Generative Video 2026 – ландшафт интеграции: closed API и open weights28 мин Глава 6Бюджет задержки ИИ реального времени: как уложиться в 100 мс16 мин Глава 7Agentic AI vs Generative AI vs ИИ-агенты – цикл агента для видео16 мин Глава 8Стенды оценки ИИ-функций видео – LLM-as-judge26 мин Глава 9ИИ в видеоконференцсвязи – инженерный плейбук23 мин Глава 10Видеозвонки: платформа с ИИ реального времени33 мин

Справочник

Глоссарий курса

AgentOps

наблюдаемость агентов

Практика и инструменты эксплуатации агентов в продакшене – оценка, трассировка, учёт стоимости и защита – чтобы автономные системы оставались надёжными и безопасными.

ИИ-аватар

цифровой аватар, HeyGen, Tavus

Синтетический экранный ведущий, созданный из реального или придуманного лица, управляемый текстом или звуком, чтобы говорить и двигаться. Видео без съёмок.

ИИ-агент

автономный агент

ИИ-система, идущая к цели, самостоятельно выбирая шаги – вызывая инструменты, читая результаты и действуя – вместо ответа на один запрос.

ИИ-ассистент встреч

AI-нотетейкер, копилот встреч

Бот, который входит в звонки, чтобы транскрибировать, суммировать и фиксировать задачи; также ИИ-нотетейкер. Флагманская категория ИИ реального времени.

ИИ-дубляж

автодубляж

Автоматический перевод и переозвучка видео на другой язык через ASR, перевод, синтез голоса и lip-sync, вместо найма актёров озвучки.

ИИ-модерация контента

модерация, trust and safety

Автоматическая проверка живого или загруженного медиа на небезопасный контент – нагота, насилие, абьюз – чтобы блокировать, размывать или помечать на масштабе.

Все ~150 терминов →

Автор

Кто написал курс

Николай Сапунов

директор Фора Софт

Автор курса – директор Фора Софт. Компания двадцать лет собирает видеосистемы, а последние годы встраивает в них модели: распознавание речи и субтитры, шумоподавление и виртуальные фоны, видеоаналитику, ассистентов встреч. Бюджеты задержки и расчёты стоимости в главах взяты из систем, которые работают у заказчиков, а не из обзоров.

Услуги Портфолио

Вопросы

Частые вопросы о курсе

Курс бесплатный? +

Да. Это открытая база знаний: читайте без регистрации и оплат.

Нужно ли знать машинное обучение? +

Нет. Курс написан для тех, кто встраивает готовые модели в видеопродукт, а не обучает их с нуля: речь о задержках, стоимости, конвейерах и требованиях, а не о выводе формул.

Для кого он написан? +

Для инженеров, продактов и технических руководителей, которые добавляют ИИ-функции в видеосистемы: видеосвязь, видеонаблюдение, OTT, обучение, телемедицину. Пути чтения выше помогают выбрать глубину.

Сколько времени займёт чтение? +

Полный курс – около 42 часов, это самый большой курс раздела. Быстрый путь для менеджера – примерно 2 часа, инженерный минимум – 10.

Не устареет ли он через полгода? +

Часть устареет: цены, названия моделей и лидеры бенчмарков меняются каждые месяцы, и такие места в статьях датированы. Не устаревает то, ради чего курс написан: бюджеты задержки, устройство конвейеров, способ считать стоимость и требования регламента.

Как курс связан с остальными курсами раздела? +

Он про ту же цепочку, но со стороны моделей: где курсы о кодировании, стриминге и звуке говорят о кадрах, протоколах и дорожках, этот говорит о том, что с ними делает ИИ. Читать по порядку не обязательно.

Можно ли ссылаться на материалы курса? +

Да, со ссылкой на первоисточник. Для перепечатки целых глав напишите нам на info@fora-soft.ru.

Готовы начать?

Глава 1 «Ориентация: где ИИ встраивается в видеопродукт» – 4 статьи, около 1 часов. Дальше станет сложнее.

Открыть главу 1 →