Термин
Трансформер
Англ.: архитектура трансформер
Короткое определение
Нейросетевая архитектура за современным ИИ, построенная на внимании. Питает языковые модели, vision-трансформеры и большинство мультимодальных систем.
Трансформер обрабатывает последовательность, позволяя каждому элементу обращать внимание на все остальные, схватывая контекст независимо от расстояния. Созданный для языка, он теперь лежит в основе LLM, ViT и генеративного видео – поэтому одно имя архитектуры встречается по всей области.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.