Термин
Бенчмарк
Англ.: лидерборд
Короткое определение
Стандартный тестовый набор и метрика для объективного сравнения моделей. Полезен для отбора, но реальное качество требует и собственной оценки.
Бенчмарк – это фиксированный набор данных и метрика (точность, mAP, WER), ранжирующая модели на равных. Публичные лидерборды помогают сузить выбор, но лидер бенчмарка может провалиться на ваших записях, поэтому команды дополняют бенчмарки оценкой под конкретную задачу.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.