Сколько стоят токены ИИ: как считать расходы на нейросеть
Почему счёт меряется токенами
Нейросеть не видит текст целиком: перед работой текст нарезается на токены, короткие фрагменты из нескольких символов. Английские слова режутся экономно, русские дороже: частая смена букв и длинные слова дают больше кусочков. Страница делового письма это примерно 500-700 токенов, длинный договор на десять страниц уже за пять тысяч.
Токен стал единицей тарифа не из жадности, а по физике процесса: вычислительная работа модели пропорциональна количеству обработанных токенов. Поэтому провайдеры называют цены за миллион токенов входа и выхода, и по этим двум цифрам любую задачу можно посчитать заранее. Что такое токен как единица текста и как он устроен внутри, разобрано в карточке словаря токен.
Из чего складывается счёт
Три слагаемых. Вход: всё, что модель читает, ваш вопрос, история диалога и приложенные документы. Выход: то, что модель пишет в ответ. И скрытый множитель, контекст: у диалоговых сервисов модель перечитывает историю разговора при каждом сообщении, поэтому длинная переписка дорожает с каждым шагом, даже если вы задаёте короткие вопросы.
Практические следствия для бизнеса. Черновики и брейнштормы дешевле финальных документов: короткий вход и короткий выход. Юридический анализ с подложенными договорами дороже в разы: вход на десятки тысяч токенов за каждый запрос. Перевод длинных документов это предсказуемая пропорция: выход примерно равен входу. И магии нет: одинаковая задача у разных провайдеров отличается по цене в разы, счёт стоит прогнать по прайсам до выбора. Про экономику выбора между внешними сервисами и своим железом есть разбор в статье что выбрать: аренда GPU или покупка своего сервера.
Как считать до запуска, а не после счёта
Схема для любого проекта из трёх шагов. Первый: замерьте типовые запросы, возьмите десять реальных задач и посчитайте токены входа и выхода, счётчики есть в любом интерфейсе провайдера. Второй: умножьте на частоту, сколько таких запросов в день у одного сотрудника и сколько сотрудников. Третий: заложите запас на переписывание и повторы, люди редко получают идеальный ответ с первого раза, реальный расход выше идеального в полтора-два раза.
Такой расчёт на салфетке занимает час и спасает от двух классических провалов: «запустили ассистента на всю компанию, а через месяц получили счёт как аренда сервера» и обратного «испугались цен, отказались от задачи, которая окупалась бы в первый месяц». Для длинных горизонтов порог перелома наступает быстро: при постоянной нагрузке свой сервер для нейросетей часто дешевле токенов уже через несколько месяцев.
Где прячется переплата
Первая ловушка, гонять модель не по делу: просить максимальную модель под простые операции, которые средняя модель сделает в десять раз дешевле. Вторая: хранить в каждом запросе то, что нужно было один раз, справочные материалы, которые модель перечитывает заново с каждым вопросом. Третья: молчаливые лимиты пробных периодов, когда счёт вдруг приходит по полному тарифу. Всё это ловится тем же расчётом: если фактический расход разошёлся с прогнозом в разы, ищите, какое из трёх слагаемых вышло из-под контроля.