Материал
AgentOps – чек-лист четырёх столпов эксплуатации
Одна страница: четыре столпа AgentOps для эксплуатации видео-ИИ-агента у клиентов – наблюдаемость (трассировать каждый шаг; одно обращение ≈ 40-75 спанов; спаны OpenTelemetry GenAI); оценка (эталонный набор; уровни «сквозной / траектория / компонент»; LLM в роли судьи по шкале 0-5; надёжность pass^k – 90% на шаг держится на 43% за 8 шагов); стоимость (стоимость за успешную задачу, не за токен; 3-8 вызовов и 50k-200k токенов на задачу; маршрутизация, кеш, пакетная обработка); и безопасность (OWASP ASI Top 10, непрямые инъекции в промпт, минимум полномочий, входные ограждения, шлюз с человеком). Плюс чек-лист вопросов перед выпуском.
Что внутри
- Наблюдаемость (нельзя эксплуатировать то, чего не видишь)
- Оценка (хорош ли он на самом деле? – столп, который пропускают)
- Стоимость (доллары за УСПЕШНУЮ задачу, не за токен)
- Безопасность (агент ДЕЙСТВУЕТ – компрометация = плохое действие, не фраза)
- Перед выпуском агента спросите:
Кому пригодится
Инженерам, которые уже держат агента в эксплуатации. Чек-лист разбирает четыре столпа – трассировку каждого шага, оценку на золотом наборе, стоимость успешной задачи вместо цены токена и защиту от косвенных инъекций в промпт: цифра pass^k здесь отрезвляет – 90% надёжности на шаге дают 43% на восьми.
Без регистрации и почты – файл открывается сразу
Источник
Из какого курса материал
ИИ в видеоинженерии
Компьютерное зрение, речь, мультимодальные модели, генеративное видео, агенты и регламент ЕС об ИИ.
Оценка, безопасность, стоимость и наблюдаемость агентов – AgentOps
AgentOps – это практика эксплуатации ИИ-агента в продакшене, когда он уже построен; дисциплина, которая отвечает на…
Ещё материалы
Похожие материалы
Все материалы →Выбираете технологию под проект?
Пройдём чек-лист вместе и посчитаем стоимость вариантов на ваших объёмах.