карточка справочника · всего в справочнике 9
NVIDIA H200 для нейросетей
H200: то же вычислительное ядро, что у H100, но 141 ГБ быстрой памяти. Кому она нужна и когда хватит H100.
NVIDIA H200 это датацентровый ускоритель на архитектуре Hopper, появившийся на рынке в 2024 году. По вычислительному ядру это та же архитектура, что у старшей H100: те же тензорные ядра, тот же Transformer Engine с расчётами в FP8. Главное отличие в памяти: 141 ГБ HBM3e с пропускной способностью около 4,8 ТБ/с против 80 ГБ и 3,3 ТБ/с у H100. Фактически это ответ на главный вопрос года: «хватило бы памяти, если бы её было вдвое больше».
Какие задачи тянет H200
- Большие модели в инференсе: модель, которой тесно в 80 ГБ, помещается в одну карту вместо связки из двух, а это упрощает и удешевляет весь сервер.
- Длинные контексты: базы знаний, договоры, логи и другие сценарии RAG, где размер контекста упирается в память.
- Многопользовательский контур: больше одновременных запросов к той же модели, потому что веса и промежуточные данные дышат свободнее.
Характеристики H200
- Память: 141 ГБ HBM3e, около 4,8 ТБ/с.
- Энергопотребление: до 700 Вт в SXM-исполнении; как и у H100, это вопрос к питанию стойки, а не к корпусу.
- NVLink четвёртого поколения: до 900 ГБ/с между картами.
- Поддержка MIG: карта делится на изолированные инстансы, подробности в словаре.
Чем H200 отличается от H100 и когда он избыточен
Вычислительно карты близки: если модели хватает 80 ГБ памяти и она не упирается в полосу пропускания, H100 справляется, и переплата за H200 не окупается. Выигрыш появляется там, где памяти мало: большие модели без агрессивного сжатия, длинные контексты, плотный поток запросов. Правило простое: сначала расчёт задачи под память, потом выбор карты, а не наоборот. Как выглядит такой расчёт на живых конфигурациях, разобрано в сравнении аренды против своей машины.