Subjective testing

Subjective testing – формальный процесс, при котором человеческие зрители оценивают качество видео в контролируемых условиях для получения ground-truth-оценок качества. Где объективные метрики (PSNR, SSIM, VMAF) пытаются предсказать воспринимаемое качество числовым анализом видео, subjective testing измеряет его напрямую: реальные люди, реальные глаза, реальные мнения. Это медленнее и дороже, чем гонять объективные метрики, но это единственный способ убедиться, что «улучшение качества» реально выглядит лучше для зрителей.

Методологии стандартизированы ITU-R Recommendation BT.500 (для видео) и ITU-T Recommendation P.910 (для мультимедиа и видеоконференц-связи). Самые распространённые протоколы: ACR (Absolute Category Rating – оценка каждого клипа в одиночку по 5-балльной шкале), DSCQS (Double-Stimulus Continuous Quality Scale – оценка source и сжатого side-by-side на слайдере), DCR (Degradation Category Rating – сравнение каждого клипа со скрытым reference), SSCQE (Single-Stimulus Continuous Quality Evaluation – непрерывная оценка длинных клипов). У каждого свои trade-off по чувствительности, масштабируемости и усталости зрителей. Типичные панели – 15–30 зрителей; условия просмотра, дисплеи и подбор контента все аккуратно контролируются.

Для продуктовой команды subjective testing – финальный validation-шаг перед любым крупным изменением encoding-пайплайна, выкатываемым в production. Паттерн: оптимизируйте свой энкодер по объективным метрикам (VMAF – повседневный выбор), затем валидируйте, что изменение реально выглядит лучше для людей, через subjective-тест на репрезентативном сэмпле вашего контента. Коммерческие лаборатории (TestDevLab, Subjectify, Eyevinn Technology, research-подразделение Brightcove) проводят subjective-панели профессионально за около $5K–25K за исследование. Крупные стриминги (Netflix, YouTube, Disney+) держат собственные subjective-testing-возможности и гоняют их каждый раз, когда выкатывают изменение кодека в масштабе. Не выкатывайте новый кодек или лестницу аудитории без него.