Что такое токен: почему нейросети считают слова по кускам
Спросите у любой нейросети, из чего она складывает текст, и правильный ответ будет не «из слов». Модель видит текст нарезанным на токены: короткие фрагменты, которые удобны ей для вычислений. «Счет» может быть одним токеном, «договор» двумя или тремя, а длинное слово вроде «документооборот» развалится на несколько кусков. Как модель внутри устроена вокруг этих кусков, разобрано в статье про LLM, здесь поговорим про практику.
Как модель режет текст
Правила нарезки задаёт не человек, а токенизатор: алгоритм, который прошёл по огромному корпусу текстов и выбрал самые частые сочетания букв как отдельные токены. Частые слова остаются целыми, редкие режутся. Для английского языка средний токен это примерно три-четыре символа, для русского куски мельче: кириллица встречалась в обучающих корпусах реже, поэтому одно слово может состоять из двух-трёх токенов.
Практический смысл: один и тот же текст на русском «стоит» дороже, чем на английском, если считать в токенах. Это не жадность провайдеров, а свойство статистики.
Почему токены важны для кошелька
У каждого запроса две стороны. Вход: ваш вопрос и всё, что вы приложили к нему, документами или историей диалога. Выход: ответ модели. И то и другое считается в токенах, и тарификация почти всех сервисов привязана именно к ним, а не к словам.
Отсюда следствие для бизнеса: болтливая модель с длинными ответами или привычка вставлять в запрос целые PDF файлы быстро съедают бюджет. Тот, кто считает токены, управляет расходом так же, как тот, кто считает бензин, управляет маршрутом.
Контекст: почему диалог «забывается»
Второе место, где живут токены, это контекст: окно, которое модель видит за один запрос. В него помещается весь диалог с начала разговора плюс документы. Когда окно кончается, старое либо сжимается в краткое резюме, либо молча выбрасывается, и модель как бы забывает начало разговора. Длинный контекст дороже и медленнее, короткий дешевле, но забывчивее.
Это объясняет и то, почему модель «теряет нить» в длинных диалогах, и то, почему большие документы иногда проще скармливать частями с уточняющими вопросами.
Токены же определяют, сколько стоит формулирование задач для ИИ: длинный промпт с лишним контекстом платный так же, как и ответ.