Термин
Окно контекста
Англ.: длина контекста
Короткое определение
Максимальный объём входа – в токенах – который модель учитывает за раз. Ограничивает, сколько видео, транскрипта или документа помещается в один запрос.
Окно контекста – это лимит рабочей памяти модели. Большое окно позволяет подать длинные транскрипты или много кадров одним вызовом; превысите – придётся суммировать, дробить или извлекать. Размер окна сильно влияет на выполнимость и стоимость видеозадач.
Считаете параметры для своего продукта?
Поможем собрать энкодер-леддер и посчитать стоимость доставки – до старта разработки.