Термин
Облачный инференс
Англ.: серверный инференс
Короткое определение
Запуск моделей в удалённом дата-центре по сети. Легко масштабируется и использует мощные GPU, но добавляет задержку и плату за каждый вызов.
Облачный инференс отправляет видео или аудио на серверы провайдера, прогоняет модель на мощном общем железе и возвращает результат. Это снимает заботу о покупке GPU, но добавляет сетевую задержку и регулярный счёт, растущий с нагрузкой.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.