Что такое видеопамять простыми словами

Видеопамять это память на графической карте, куда при запуске загружаются веса модели, её текущее состояние и обрабатываемый текст. Для нейросетей это главный ресурс: вычислительной мощности у современных карт обычно с запасом, а вот память заканчивается первой, и тогда модель либо не запускается, либо начинает заметно тормозить.

В спецификациях серверных карт встречается память HBM: стопки кристаллов рядом с вычислительным чипом, которые дают огромную пропускную способность. В десктопных картах стоит GDDR: дешевле и проще, но при работе с длинными контекстами узким местом становится именно она. Разница между «модель работает» и «модель не влезает» почти всегда определяется этими гигабайтами, а не количеством ядер.

Съедает память не только сама модель. Весы можно уменьшить сжатием весов модели, но остаётся контекст: каждый вопрос, каждый документ в переписке и каждая параллельная ветка диалога занимают место, и при длинных сессиях память тает на глазах. Поэтому конфигурацию считают с запасом под одновременный поток запросов, а не под один идеальный прогон.

Что занимает видеопамять

• Веса модели: базовый расход, который виден ещё до первого вопроса; сжатие сокращает его в разы.
• Контекст: переписка, загруженные документы, результаты инструментов агентов; растёт с каждой репликой.
• Промежуточные вычисления: буферы внимания и генерации, размер которых зависит от настроек запуска.

Как прикинуть потребность до покупки или аренды карты, почему запас в десять-пятнадцать процентов обычно достаточен и чем опасен расчёт по среднему потоку вместо пикового, разобрано в статье про как устроена память ускорителей; там же показано, как параллельные запросы незаметно съедают запас и что делать, когда места всё равно не хватает даже после чистки контекста. Под конкретные модели и задачи карту выбирают по списку нагрузки: примеры такого расчёта собраны в статье про подбор видеокарты под задачу.