Термин
Внимание (attention)
Англ.: самовнимание
Короткое определение
Механизм, позволяющий модели взвешивать, какие части входа важнее для каждого выхода. Ключевая идея, заставляющая трансформеры работать.
Attention оценивает, насколько каждый элемент входа должен влиять на каждый элемент выхода, чтобы модель фокусировалась на важных словах или участках изображения. Это даёт трансформерам понимание контекста, а его вычислительная стоимость ограничивает длину входа.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.