Что такое токен простыми словами

Токен это кусочек текста, которым оперирует языковая модель. Модель не читает буквы и слова напрямую: текст нарезается на токены, и каждый токен превращается в число. Один токен это примерно три-четыре символа русского текста, то есть около двух третей слова.

В токенах измеряют всё, что связано с работой модели: длину контекста, объём документа для анализа и цену обращения к облачным сервисам. Понимание токенов объясняет, почему модель может «забыть» начало длинного диалога: в её память помещается ограниченное число токенов, и старое вытесняется новым. Как токены складываются в контекст и что происходит на границе памяти, разобрано в статье про токены и контекст.

Что считают в токенах

• Память модели (контекст): сколько текста она держит в голове за один раз, от пары страниц до целой книги.
• Объём документа: влезает ли регламент или договор в контекст целиком или его нужно резать на куски.
• Цену облака: тарификация идёт за токены, длинный диалог и толстые файлы стоят дороже.
• Нагрузку на железо: чем больше токенов в контексте, тем больше памяти и времени нужно инференсу, то есть ежедневной отдаче ответов сотрудникам.

Если документ не влезает в память модели целиком, его не заталкивают силой: документ режут на части и обрабатывают по очереди, собирая выводы в общий ответ, а когда частей становится слишком много, их заранее превращают в эмбеддинги, чтобы при каждом вопросе подавать модели только нужные фрагменты вместо целого тома.

Сколько токенов реально съедают рабочие задачи отдела, как из этого считается потребность в памяти и какое железо тянет такой поток без очередей и лагов, разобрано в материале про выбор сервера под ИИ.