Термин
TensorRT
Англ.: TensorRT-LLM
Короткое определение
Оптимизатор NVIDIA, компилирующий модель в сильно настроенную под её GPU форму, снижая задержку и повышая пропускную способность на инференсе.
TensorRT переписывает и сливает операции модели и применяет вычисления пониженной точности ради гораздо более быстрой работы на железе NVIDIA. Экспорт в TensorRT – стандартный финальный шаг для выжимания скорости реального времени из детекторов и других видеомоделей.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.