Что такое квантование модели простыми словами
Квантование сжимает модель, чтобы она влезла в меньше памяти. Качество почти то же, железо нужно дешевле.
Квантование это сжатие модели с потерей точности чисел, но почти без потери качества ответов. Числа внутри модели хранятся в 16 битах, а квантование приводит их к 8 или 4 битам: модель худеет вдвое или вчетверо, и на той же видеокарте помещается более крупная и умная модель, чем поместилась бы без сжатия.
Для бизнеса это напрямую деньги: сервер, который без квантования тянул модель средних способностей, с квантованием тянет старшую модель. Поэтому при подборе железа всегда считают обе конфигурации: полную и сжатую. Как собрать такую пару конфигураций под конкретные модели, включая сжатые, описано в материале про конфигурацию сервера под модели.
Как квантование влияет на проект
- Железо дешевле: модель, которой нужен был топовый ускоритель, влезает в карту среднего класса.
- Ответы быстрее: меньше данных перекачивается, задержка падает даже на том же сервере.
- Качество проседает чуть-чуть: на корпоративных задачах разницу обычно не видно, но на сложных рассуждениях стоит проверять.
- Обратной дороги нет: квантование делается под конкретное железо, конфигурацию считают до покупки.
Как квантование связано с объёмом видеопамяти и что влезает в популярные карты, разобрано в статье про сколько памяти нужно модели.