Контекстное окно

Контекстное окно (context window) — максимальный объём текста (в токенах), который языковая модель способна учитывать при генерации одного ответа.

Общее

Контекстное окно определяет, сколько предшествующего текста модель «видит» при обработке запроса. Если окно 128K токенов — модель может работать с текстом, эквивалентным нескольким сотням страниц.

Ограничения

• Всё, что не влезает в контекст — модель не учитывает.
• Длинные истории «вытесняют» новый контекст при достижении лимита.
• Окна различаются у разных моделей: от 4K до 200K+ токенов.

В сессии

При работе в сессии ИИ контекстное окно влияет на:

• Сколько истории сообщений сохраняется.
• Объём системных инструкций и промптов.
• Размер документов, которые можно «скормить» модели напрямую.

Связанные понятия

• Токен — единица измерения контекстного окна.
• LLM — модель, для которой окно является физическим ограничением.