Что такое hbm простыми словами

HBM это высокоскоростная память, которую ставят в датацентровые ускорители: кристаллы памяти собирают стопками прямо рядом с вычислительным чипом, а не раскладывают микросхемами вокруг платы. Результат в разы большая пропускная способность: карта успевает кормить вычислительные ядра данными, и большие модели работают без простоев.

Отличие от привычной GDDR из десктопных карт в конструкции и цене: GDDR это отдельные микросхемы на плате, дешевле и проще в производстве, HBM это сложная сборка рядом с чипом, которая заметно удорожает карту, зато держит скорость на тяжёлых нагрузках. Для больших языковых моделей длинные очереди обращений к памяти обычны, и именно обычная видеопамять становится узким местом: вычисления готовы, а данных нет.

Где встречается HBM

• Датацентровые ускорители: память HBM2e и HBM3 в серверных картах под обучение и тяжёлый инференс.
• Флагманские серверные платформы: чем больше памяти и чем она быстрее, тем крупнее модель живёт на карте.
• Не встречается в десктопах: обычные карты используют GDDR, потому что она дешевле при достаточной скорости.

Практический смысл при выборе конфигурации: серверные карты с HBM покупают под большие модели и длинные контексты, где важна каждая гигабайт-на-секунду. Пример карты с такой памятью это датацентровая H100, а когда вместо серверного флагмана достаточно десктопного под список задач, сколько памяти реально нужно, как считать запас под параллельные запросы сотрудников и клиентов и как не переплатить за гигабайты, которые не понадобятся ни в одном сценарии нагрузки, разобрано в статье про подбор видеокарты под задачи.