Что такое языковая модель простыми словами

Языковая модель это программа, которая умеет предсказывать, какое слово вероятнее всего идёт дальше в тексте. Звучит скромно, но из этого одного умения вырастает всё: диалог с ассистентом, пересказ документа, черновик письма, поиск по базе знаний. Модель прочитала огромный массив текстов и запомнила, как устроен связный язык, поэтому её продолжения оказываются осмысленными. Как из этого умения собирают ассистента на своих данных, описано в инструкции свой ChatGPT на своём сервере.

Отвечая на вопрос, модель не «ищет ответ в базе»: она генерирует текст фрагмент за фрагментом, опираясь на всё, что видела при обучении, и на контекст диалога. Именно поэтому она может ошибаться красиво и уверенно, и именно поэтому в рабочих системах её подпирают базой знаний и регламентами.

Как устроена работа модели

• Текст нарезается на токены: модель работает с числами, а не с буквами.
• Обучение состоит в угадывании следующего токена на миллиардах примеров, пока предсказания не станут точными.
• Контекст это вся информация, которую модель видит прямо сейчас: вопрос, документы, история диалога.
• После обучения модель запускают в режиме инференса: она только отвечает, ничего не запоминая между сеансами, поэтому состояние диалога хранит обвязка.

Готовая модель не знает ваших регламентов, внутренних договоров и вчерашних новостей: всё это появляется в мире уже после того, как обучение закончилось. Для этого её дообучают на ваших материалах (см. файнтюнинг) или подключают к ней ваши документы через поиск. Первый путь закрепляет стиль и формат, второй даёт свежие данные; в живых системах они часто работают парой. Как устроено семейство больших моделей, откуда берутся их размеры и что они умеют, разобрано в материале про большие языковые модели.