Термин
KV-кэш
Англ.: key-value кэш
Короткое определение
Сохранённые значения внимания, которые языковая модель переиспользует при генерации, чтобы не пересчитывать весь контекст на каждый новый токен. Крупный потребитель памяти.
Key-value кэш хранит промежуточные результаты внимания для уже обработанных токенов, позволяя дёшево продолжать генерацию токен за токеном. Он ускоряет вывод, но растёт с длиной контекста и параллелизмом, становясь главным драйвером памяти обслуживания и целью оптимизаций вроде PagedAttention.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.