Термин
Инференс
Англ.: инференс, предсказание
Короткое определение
Запуск обученной модели на новых данных ради предсказания. Основная стоимость ИИ-функции возникает именно на инференсе, а не на обучении.
Инференс – это этап, на котором готовая модель получает новый кадр, аудиофрагмент или текст и выдаёт ответ. В видеопродукте он выполняется на каждом кадре или реплике, поэтому скорость и цена одного вызова определяют, окупается ли функция на масштабе.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.