Термин
VRAM
Англ.: память GPU
Короткое определение
Память видеокарты. Модель запустится, только если её веса и рабочие данные помещаются в VRAM, поэтому объём VRAM ограничивает выбор моделей.
VRAM – это быстрая память на GPU. Веса модели и её временные вычисления должны в неё поместиться; превысите лимит – модель не загрузится. Квантизация уменьшает веса именно для того, чтобы вместить более крупные модели в меньший VRAM.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.