VRAM простыми словами: почему память видеокарты решает
У обычного компьютера две памяти: оперативная и видеопамять, VRAM, встроенная в видеокарту. В играх VRAM хранит текстуры, в нейросетях она хранит саму модель: все её веса, которые нужны одновременно и целиком. Отсюда главное правило локального ИИ: модель обязана поместиться в VRAM с запасом на контекст диалога. Если не поместилась, это не «будет медленно», это «не заработает».
Почему нельзя считать частями
Естественный вопрос: нельзя ли подгружать модель с диска по мере надобности? На деле веса модели при каждом ответе перебираются все и многократно, и скорость памяти на порядки выше скорости самого быстрого диска. Существуют схемы с выгрузкой части модели на обычную RAM и диск, но это аварийный режим для экспериментов, а не рабочий режим для компании: ответ в такой конфигурации ползёт.
Поэтому расчёт железа начинается с веса модели. Средняя модель, которой хватает на офисные задачи, в сжатом виде занимает единицы гигабайт, тяжёлые десятки. Плюс память на контекст: длинные документы и история диалогов тоже лежат в VRAM во время запроса.
Квантизация: главный рычаг
В исходном виде веса модели хранятся с высокой точностью, и модель весит в разы больше, чем могла бы. Квантизация уменьшает точность хранения весов: модель худеет в два-четыре раза, а качество падает умеренно и неравномерно: на офисных задачах разницу обычно не заметить, на тонких она может проявиться.
Практический вывод: подбирая железо, смотрите на размеры квантованных версий моделей, а не на исходные. Большинство локальных запусков в мире работает именно на квантованных моделях, и это нормальная инженерия, а не халтура. Подробнее о самих моделях: какие открытые модели бывают.
Сколько VRAM нужно вам
Порядок прикидки. Определите модель и её квантованную версию: это базовый вес. Прибавьте память на контекст под ваши типовые документы: длинные договоры заметно её увеличивают. Умножьте на число одновременных тяжёлых запросов, если сервер один на команду. Округлите вверх до ближайшей серверной карты.
Типичные коридоры: маленькие модели на лёгкую рутину влезают в память игровых карт и потому популярны у энтузиастов; средние офисные модели требуют уже серьёзной серверной карты; большие модели это разговор про профессиональный сервер с подобранным железом.