H100 для бизнеса: какие задачи оправдывают топовый ускоритель
H100 это карта, на которой крупные компании обучают большие модели, и соблазн поставить её себе понятен: раз топовая, значит правильная. Но флагман окупается только на нагрузке его уровня. Между «хочу лучшее» и «нужно именно это» лежит расчёт, и он почти всегда показывает более скромную конфигурацию.
Задачи, где H100 раскрывается
Первая это тяжёлый инференс: большая языковая модель, которая одновременно отвечает сотням пользователей клиентского сервиса. Поток запросов в пиковые часы, длинные контексты переписок, работа инструментов агентов: всё это съедает память и вычисления, и слабая карта превращается в очередь. Вторая это дообучение больших моделей на корпоративных данных, когда дообучение на своих данных идёт регулярно, а не раз в год. Третья это генерация в промышленных объёмах: видео, изображения, озвучка для продукта, а не для презентаций.
Характеристики карты и её серверного исполнения: 80 ГБ быстрой памяти, FP8 и связки между картами. Важная деталь это энергопотребление: до 700 Вт на карту означает, что покупка ускорителя это заодно проект электрики и охлаждения стойки. Как эти ватты превращаются в требования к машине, разобрано в TDP простыми словами без формул: там же видно, почему флагман покупается вместе с инфраструктурой, а не сам по себе. Полные спецификации собраны на странице H100 в справочнике.
Когда H100 избыточна
Офисный ассистент на средней модели, генерация картинок отделом маркетинга, разовое распознавание архива документов: всё это уровнем ниже. Рабочая лошадка A100 предыдущего поколения закрывает большинство инференс-задач за заметно меньшие деньги, а для одиночных задач хватает и десктопных карт. Переплата за флагман в таких сценариях не ускоряет бизнес, а съедает бюджет, который лучше потратить на память или вторую карту.
Граница проходит по потоку: сколько людей одновременно, какие модели, какой контекст. Как посчитать потребность в памяти и не ошибиться с конфигурацией, разобрано в статье про подбор видеокарты под нейросети. А если нагрузка нерегулярная, честнее сравнить свою машину с оплатой по часам: цифры для этого даны в сравнении аренды мощностей и своего сервера.