Что такое инференс простыми словами

Инференс это запуск уже обученной модели для получения ответов. Обучение и инференс это разные режимы: обучение прожорливо и делается один раз на мощных кластерах, инференс это повседневная работа модели, когда она отвечает сотрудникам и клиентам.

Слово встречается в конфигурациях и прайсах: инференс-сервер это машина, заточенная под постоянную отдачу ответов, а не под обучение. Для таких серверов важны объём видеопамяти под модель и поток запросов, а не скорость обучения. Сжатие через квантование уменьшает модель и ускоряет ответы на том же железе, поэтому в конфигурациях инференса его считают нормой, а не экзотикой. Поток запросов при этом считается не в среднем за день, а в пиковые часы: утренний наплыв сотрудников показывает реальный потолок машины.

Что считают при запуске инференса

• Память под модель: тяжёлая модель занимает гигабайты видеопамяти, и параллельный поток запросов требует запаса (см. токены и память).
• Пропускная способность: сколько сотрудников или клиентов модель обслуживает одновременно без очереди.
• Режим работы: круглосуточный инференс любит надёжное железо с резервированием, а не игровую карту на пределе.

Что считается нагрузкой инференса на железо, из чего складывается стоимость владения своей машиной и когда аренда выходит дешевле покупки собственной, разобрано в сравнении сравнение аренды GPU со своим сервером. Почему видеопамять на инференсе заканчивается раньше ожидаемого, как считать запас под одновременный поток запросов сотрудников и чем честное резервирование отличается от просто второй карты вдвое дороже, подробно описано в статье про видеопамять простыми словами.