NVIDIA H100 для нейросетей

NVIDIA H100 это флагманский датацентровый ускоритель на архитектуре Hopper, выпущенный в 2022 году. Именно на таких картах крупные компании обучают большие языковые модели и держат тяжёлый инференс, когда модель одновременно отвечает тысячам пользователей. Карта выпускается в серверном исполнении SXM (прямая посадка в плату) и в привычном PCIe-формате.

Какие задачи тянет H100

• Обучение больших языковых и мультимодальных моделей: 80 ГБ памяти в каждой карте и быстрый обмен между картами позволяют собирать кластеры под модели в десятки и сотни миллиардов параметров.
• Тяжёлый инференс: длинные контексты, большие модели без агрессивного сжатия, одновременный поток запросов от отдела или клиентского сервиса.
• Дообучение больших моделей на корпоративных данных, включая сценарии, когда данные нельзя отдавать на общие мощности: у нас есть обучение на материалах заказчика в закрытом контуре.

Главная особенность поколения Hopper это Transformer Engine: блок, который автоматически переключает вычисления между точными и экономными форматами вроде FP8. На трансформерных нагрузках это даёт заметный прирост против предыдущего поколения без потери качества ответов.

Характеристики H100

• Память: 80 ГБ HBM3, пропускная способность около 3,3 ТБ/с в версии SXM.
• Энергопотребление: до 700 Вт в SXM-исполнении, PCIe-версия заметно скромнее.
• NVLink четвёртого поколения: до 900 ГБ/с между картами, чтобы кластер работал как единое целое, а не как набор изолированных карт.
• Тензорные ядра четвёртого поколения: около 4 ПФЛОПС на FP8 с разрежением в SXM-версии.
• MIG: карта делится до семи изолированных инстансов, каждому можно выдать свою долю памяти и вычислений.

Чем H100 отличается от A100 и когда он избыточен

Прямой предшественник A100 остаётся рабочим инструментом для инференса средних моделей, но на трансформерных задачах H100 быстрее именно за счёт FP8 и новой памяти. Разница видна на больших моделях и длинных контекстах; на маленьких моделях переплата не окупается. Если задача это локальная модель для одного офиса, честнее смотреть десктопный класс, а не серверный флагман.

Для сервера с H100 важны связка карт между собой и питание стойки: тепловой пакет до 700 Вт на карту надо закладывать в проект электрики и охлаждения до покупки, а не после. На практике это значит отдельную линию питания, продуманный обдув или стойку с организованным холодным коридором, и запас по ваттам примерно на треть сверху: сервер не должен работать на пределе блока питания. Как собрать такой сервер под конкретную задачу и что заложить в конфигурацию, разбираем в статье про аренду GPU против своего сервера.