Контекст — это вся информация, которую большая языковая модель (LLM) учитывает при генерации ответа. Это не только последний запрос пользователя, но и другие данные, доступные модели в текущий момент.
Факт. Качество ответа зависит не только от самой модели, но и от качества сформированного контекста. Даже небольшая LLM может давать точные ответы, если получает релевантные документы и правильно подготовленный контекст.
Понятное сравнение с ПК
Большую языковую модель можно сравнить с центральным процессором компьютера. Сама по себе она умеет выполнять вычисления, но без дополнительных компонентов ее возможности сильно ограничены.
- Контекстное окно играет роль оперативной памяти (RAM) — в нем хранится информация, с которой модель работает прямо сейчас. Такая память очень быстрая, но имеет ограниченный объем.
- Внешние базы знаний и хранилища данных можно сравнить с жестким диском или SSD. Они позволяют хранить практически неограниченный объем информации, но для доступа к ней требуется дополнительное время.
- Интеграции с внешними сервисами и инструментами выполняют роль устройств ввода-вывода и драйверов. Благодаря им модель может искать информацию в интернете, обращаться к API, выполнять код, работать с файлами и взаимодействовать с другими системами.
- Harness можно сравнить с операционной системой. Он организует работу всей ИИ-системы: управляет выполнением задач, запускает тесты, оценивает результаты, сравнивает модели и контролирует качество работы приложения.
- Сама LLM при этом — это аналог процессора CPU в ПК — вычислительная мощь, генерирующая результат за счет использования описанных выше компонент.
Только совместная работа всех этих компонентов превращает отдельную LLM в полноценную платформу для создания и эксплуатации интеллектуальных приложений.
Виды и составляющие контекста
Контекст может включать несколько источников информации.
Контекст диалога
Это история переписки между пользователем и моделью. Благодаря ей LLM понимает, к чему относятся местоимения, ранее обсуждавшиеся темы и уточняющие вопросы.
Пример:
Пользователь: Расскажи про PostgreSQL.
Модель: …
Пользователь: А чем он лучше MySQL?
Во втором вопросе модель понимает, что слово «он» относится к PostgreSQL, поскольку предыдущие сообщения входят в контекст.
Системный контекст (System Prompt)
Помимо переписки, модель получает служебные инструкции, которые обычно скрыты от пользователя. Они определяют правила поведения модели и особенности формирования ответов.
Факт. Контекст включает не только историю диалога, но и системные инструкции, результаты поиска, документы из базы знаний (RAG), данные из внешних инструментов и долговременную память пользователя.
Например, системный контекст может содержать:
- роль ассистента;
- стиль общения;
- правила безопасности;
- доступные инструменты и ограничения.
Именно благодаря системному контексту одна и та же модель может выступать в роли программиста, преподавателя, консультанта или переводчика.
Дополнительный контекст (RAG)
Во многих ИИ-системах модель получает информацию из внешних источников. Перед генерацией ответа выполняется поиск по базе знаний, документации или корпоративным данным, после чего найденные материалы передаются модели.
Пример:
Вопрос пользователя
+
Поиск по базе знаний
+
Найденные документы
↓
LLM
Если пользователь спрашивает:
Какая политика отпусков действует в нашей компании?
система сначала находит соответствующий документ, а затем передает его модели. Этот документ становится частью контекста.
Долговременная память (Memory)
Некоторые ИИ-системы способны сохранять информацию между диалогами и автоматически использовать ее в дальнейшем.
Например:
- предпочитаемый язык общения;
- профессиональная область пользователя;
- долгосрочные проекты и задачи.
Такие сведения автоматически добавляются в контекст новых разговоров и позволяют персонализировать ответы.
Контекст из внешних инструментов
Современные LLM могут использовать различные инструменты, результаты работы которых также становятся частью контекста.
Например:
- поиск в интернете;
- SQL-запросы;
- выполнение Python-кода;
- анализ PDF-документов;
- обращение к API.
После получения результатов модель использует их при формировании ответа.
Контекстное окно (Context Window)
Размер контекста ограничен. Каждая языковая модель имеет максимальный объем информации, который она может обработать одновременно. Это ограничение называется контекстным окном.
| Разработчик | Модель | Максимальный контекст | Эквивалент текста* | Особенности |
|---|---|---|---|---|
| Gemini 2.5 Pro | 1 000 000 токенов | ≈ 700–800 тыс. слов | Один из самых больших контекстов среди коммерческих LLM. | |
| Gemini 2.5 Flash | 1 000 000 токенов | ≈ 700–800 тыс. слов | Оптимизирована для высокой скорости обработки. | |
| OpenAI | GPT-5 | 400 000 токенов | ≈ 280–320 тыс. слов | Используется в ChatGPT и API. |
| Anthropic | Claude 4 Opus | 200 000 токенов | ≈ 140–160 тыс. слов | Особенно эффективна при анализе больших документов. |
| Anthropic | Claude 4 Sonnet | 200 000 токенов | ≈ 140–160 тыс. слов | Баланс качества, стоимости и скорости. |
| xAI | Grok 4 | 256 000 токенов | ≈ 180–200 тыс. слов | Поддерживает обработку больших объемов текста и кода. |
| DeepSeek | DeepSeek R1 | 128 000 токенов | ≈ 90–100 тыс. слов | Популярная reasoning-модель с открытыми весами. |
| Mistral AI | Mistral Large 2 | 128 000 токенов | ≈ 90–100 тыс. слов | Оптимизирована для корпоративного использования. |
| Alibaba | Qwen 3 | 256 000 токенов | ≈ 180–200 тыс. слов | Поддерживает длинный контекст и мультимодальность. |
* Эквивалент текста приведен приблизительно. В среднем один токен соответствует 0,75–0,8 слова русского или английского текста, однако реальное значение зависит от языка, структуры документа и количества знаков препинания.
На листе А4 в среднем 300-400 слов (конечно, зависит от размера и плотности текста). То есть контекст современных LLM — около 1-2 тысяч страниц А4.
В рамках этого объема должны одновременно помещаться:
- системные инструкции;
- история диалога;
- документы и материалы RAG;
- результаты работы инструментов;
- текущий запрос пользователя;
- генерируемый ответ.
Если общий объем превышает доступное контекстное окно, самые ранние или менее важные части контекста обычно удаляются либо сокращаются.
Факт. Максимальный контекст современных LLM уже достигает 10 миллионов токенов, что сопоставимо с содержимым нескольких тысяч страниц текста или десятков крупных книг.
Как контекст выглядит для модели
С технической точки зрения контекст представляет собой единую последовательность токенов, содержащую различные типы сообщений.
<System>
Ты помощник...
<User>
Что такое BPM?
<Assistant>
...
<User>
А чем отличается от Workflow?
<Retrieved document>
...
<User>
Объясни простыми словами.
Все эти данные одновременно передаются модели как единый входной поток. Для LLM это одна последовательность токенов с указанием ролей сообщений и служебной информации.
Почему контекст так важен
Качество ответа языковой модели напрямую зависит от качества предоставленного контекста. Чем полнее и актуальнее информация, которую получает LLM, тем точнее и полезнее будет результат.
Правильно сформированный контекст может включать:
- актуальные документы и базы знаний;
- историю общения;
- четкие системные инструкции;
- результаты поиска и работы внешних инструментов.
Именно поэтому при разработке современных ИИ-систем большое внимание уделяется не только выбору языковой модели, но и технологиям формирования контекста: использованию RAG, долговременной памяти, интеграции с внешними сервисами и грамотному проектированию системных инструкций.
