Материал

Чек-лист видео-стенда оценки – сборка на LLM в роли судьи

Одна страница: как собрать надёжный стенд оценки для видео-ИИ функции. Пять частей стенда (эталонный набор, тестируемая функция, судья, оценочная карта, ворота); почему метрики совпадения слов (BLEU/ROUGE) и текстовые судьи проваливаются на видео; когда нужна VLM в роли судьи, читающая выборку кадров для проверки заземления; три решения по режиму оценки (поэлементно/попарно, с эталоном/без, грубая/тонкая шкала); три контроля смещений (перестановка-усреднение против позиции, лимит длины против многословия, судья из другого семейства против самопредпочтения); и шаг «а судьи кто» (измерьте согласие с людьми каппой Коэна до доверия любому автоматическому баллу). Соответствует функции MEASURE из NIST AI RMF и ISO/IEC 42001.