H200: чем отличается от H100 и кому она нужна

Когда NVIDIA выпускала H200, архитектура Hopper уже была на рынке в виде H100. Поэтому H200 часто описывают как «H100 с другой памятью», и это честное описание: тензорные ядра, Transformer Engine, расчёты в FP8-режиме и NVLink те же. Изменилось одно: вместо 80 ГБ HBM3 с полосой около 3,3 ТБ/с карта получила 141 ГБ HBM3e с полосой около 4,8 ТБ/с.

Почему память, а не скорость, оказалась узким местом

К 2024 году у большинства компаний, запускающих нейросети, проблема была не в скорости вычислений, а в том, что модель не помещается. Типичная история: компания хочет дать клиентам модель побольше или подключить к ней длинные документы, и выясняется, что в 80 ГБ карта влезает либо модель, либо контекст, либо поток запросов, но не всё сразу. Сервер с H200 закрывает именно этот затык: веса, контекст и промежуточные данные помещаются одновременно.

Отсюда и практическое следствие: модель, которая на H100 требовала связки из двух карт, на H200 живёт в одной. Это не только цена самой карты: сервер на одном ускорителе проще по питанию, дешевле в обслуживании и без ошибок синхронизации между картами.

Кому H200 действительно нужна

• Сервисы с потоком клиентов на большой модели: больше одновременных запросов на ту же карту.
• Корпоративные базы знаний с длинными документами: контекст ест память быстрее, чем кажется.
• Команды, которые дообучают модели на своих данных: батч побольше, обучение покороче.

Кому хватит H100 или десктопного класса

Если задача это запуск средней модели для одного офиса, H100 закрывает её с запасом, и разницы между картами вы не заметите. Если же модель помещается в 24 или 32 ГБ, честнее смотреть десктопный класс из справочника GPU: серверная карта там будет просто дорогим способом не работать. И обратное тоже верно: чем больше модель и длиннее контексты, тем заметнее становится разница в памяти, и тем быстрее H200 отбивает свою доплату в вашей конкретной задаче.

Выбор между двумя картами редко решается одним параметром, но краткая выжимка по H200, её характеристикам и сравнению с предшественницей собрана в карточке H200 в справочнике. А если выбор карты уже сделан и встал вопрос, покупать её или брать по часам, экономику обоих вариантов, от первого расчёта до счёта за электричество, стоит посчитать заранее: эти цифры часто меняют решение сильнее, чем параметры самой карты.