Термин
LoRA
Англ.: Low-Rank Adaptation
Короткое определение
Low-Rank Adaptation – дешёвый метод дообучения, тренирующий маленькие добавочные слои вместо всей модели, чтобы кастомизировать большие модели на скромном железе.
LoRA замораживает исходные веса и учит крошечный набор дополнительных параметров, схватывая новый стиль или домен за долю стоимости полного fine-tuning. Результат – маленький файл, который можно подключать, поэтому к одной базовой модели выпускают много LoRA.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.