Что такое контекст простыми словами

Контекст это рабочая память языковой модели: текст, который модель видит в момент ответа. В контекст входят ваш вопрос, история диалога, приложенные документы и системные инструкции. Модель отвечает, опираясь только на содержимое контекста: то, что в него не попало, для неё не существует.

Размер контекста измеряется в токенах и у современных моделей составляет от десятков тысяч до миллионов. Это много: сотни страниц текста. Но память не резиновая, и когда места не хватает, старое вытесняется или обрезается, поэтому длинный диалог с моделью со временем «забывает» первые реплики. Как это выглядит на практике и что делать с длинными документами, разобрано в статье про контекстную память моделей и работу с ней.

Что кладут в контекст

• Историю переписки с клиентом, чтобы ассистент держал нить разговора.
• Фрагменты базы знаний, найденные поиском: именно так работают ассистенты, отвечающие по документам компании.
• Приложенные файлы: договор, счёт, регламент, если помещаются целиком.
• Инструкции поведения: тон, запреты, порядок эскалации вопросов на людей.

Для бизнеса контекст это ещё и статья расходов: чем больше токенов в каждом запросе, тем дороже ответ в облаке и тем мощнее нужно железо для своей модели. Мультимодальные модели кладут в контекст не только текст, но и картинки, об этом рассказано в карточке про мультимодальность.

Когда документов для каждого вопроса набирается слишком много, в контекст подают не всё подряд, а найденные по смыслу фрагменты: так экономится и память модели, и стоимость каждого обращения. Такой конвейер из поиска и генерации стал стандартом корпоративных ассистентов, и устроен он несложно; как именно, описано в статье RAG: полный разбор схемы.