Термин
Квантизация
Англ.: квантование
Короткое определение
Уменьшение модели за счёт хранения весов с меньшей числовой точностью, чтобы она занимала меньше памяти и работала быстрее, обычно почти без потери точности.
Квантизация заменяет числа высокой точности меньшими – например, 16 бит на 8 или 4 – снижая VRAM и ускоряя инференс. Это главный способ вместить крупные модели в меньшие GPU и edge-устройства; агрессивные уровни немного жертвуют точностью.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.