NVIDIA A100 для нейросетей

NVIDIA A100 это датацентровый ускоритель на архитектуре Ampere, выпущенный в 2020 году. Карта давно не новинка, но остаётся массовой рабочей лошадкой: на A100 построены большие массивы мощностей в аренду, час такой карты стоит заметно дешевле часа флагмана, а для большинства инференс-задач её хватает с запасом.

Какие задачи тянет A100

• Инференс средних и больших языковых моделей: версии на 40 и 80 ГБ памяти держат модели, которые не влезают в десктопные карты.
• Файнтюнинг и адаптация моделей на корпоративных данных: плотная вычислительная производительность на FP16 закрывает типовые задачи.
• Мультимодальные нагрузки: распознавание документов, обработка речи, генерация изображений в промышленных объёмах.

Характеристики A100

• Память: 40 или 80 ГБ HBM2e, пропускная способность до 2 ТБ/с.
• Энергопотребление: до 400 Вт в SXM-исполнении, PCIe-версия около 250 Вт.
• NVLink: до 600 ГБ/с между картами для сборки в единый кластер.
• Тензорные ядра третьего поколения: 312 ТФЛОПС на FP16 в плотном режиме.
• MIG: деление до семи изолированных инстансов под разные задачи или клиентов.

Чем A100 отличается от H100 и когда она оправдана

У A100 нет Transformer Engine и быстрых FP8-режимов, поэтому на трансформерных нагрузках H100 ощутимо быстрее. Но уставшей карта не стала: для инференса со сжатыми моделями, когда модель ужали и она спокойно живёт в меньшем объёме памяти, A100 часто даёт лучший ответ на вложенный рубль. Логика выбора простая: если нужна максимальная скорость обучения больших моделей, берут H100; если нужен поток ответов по фиксированной смете, A100 остаётся разумным вариантом.

Отдельный плюс поколения Ampere в серверном сегменте это зрелость: под A100 есть готовые платформы, драйверы обкатаны годами, а связки из нескольких карт собираются без экспериментов. Память HBM2e объясняет, почему большие модели вообще влезают в эти карты, и в статье про сколько памяти занимает модель показано, как считать этот объём до покупки или аренды, чтобы не платить за пустые гигабайты и не обнаружить нехватку в первый рабочий день; запас в десять-пятнадцать процентов сверху обычно достаточен. Для задач без быстрой межкартовой шины есть более дешёвый серверный вариант L40S с 48 ГБ на борту.