Термин
Дистилляция знаний
Англ.: дистилляция
Короткое определение
Обучение маленькой модели-«ученика» копировать большую «учителя», чтобы получить почти то же качество за долю размера, цены и задержки.
Дистилляция знаний переносит знания большой модели в компактную, обучая ученика на выходах учителя. Результат работает дешевле и быстрее на edge-железе, поэтому дистиллированные модели часты в видеофункциях реального времени.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.