карточка справочника · всего в справочнике 8
NVIDIA L40S для нейросетей
Серверная карта Ada Lovelace: 48 ГБ GDDR6, FP8 и обычный корпус без жидкостного охлаждения. L40S для инференса, рендера и генерации.
NVIDIA L40S это серверный ускоритель на архитектуре Ada Lovelace, выпущенный в 2023 году. По позиционированию это середина между десктопными картами и датацентровыми флагманами: обычная двухслотовая карта без SXM-посадки и жидкостного охлаждения, которая встаёт в стандартный сервер и при этом несёт серверную математику, включая быстрые режимы FP8.
Какие задачи тянет L40S
- Инференс средних языковых моделей: 48 ГБ памяти хватает на сжатые модели, которые обслуживают офис или клиентский сервис.
- Генерация изображений и видео: архитектура Ada сильна на графических и мультимодальных нагрузках, поэтому L40S любят студии и продакшены.
- Рендер, распознавание документов и речи: карта одинаково хорошо работает и как вычислитель, и как графический ускоритель в одной стойке.
Характеристики L40S
- Память: 48 ГБ GDDR6, пропускная способность 864 ГБ/с.
- Энергопотребление: до 350 Вт, обычное воздушное охлаждение, двухслотовый формат.
- PCIe 4.0 x16: карты объединяются через шину, быстрой межкартовой шины на L40S нет.
- Тензорные ядра четвёртого поколения: FP8 с разрежением до 362 ТФЛОПС.
- Позиция в линейке: та же архитектура, что у десктопной RTX 4090, но вдвое больше памяти и серверная сборка.
Когда L40S выгоднее флагмана
Главный аргумент L40S это цена владения: сервер под неё это обычная машина с воздушным охлаждением, а не специализированная платформа под флагманским H100 с его 700 Вт на карту. Дешевле сама машина, дешевле стойка, проще обслуживание: карту можно заменить силами обычного админа за пару минут, без вызова инженера по жидкостному контуру. Для потока инференс-запросов, где каждая карта работает сама по себе, отсутствие быстрой межкартовой шины не недостаток, а честная экономия: задачи не мешают друг другу и переживают перезагрузку одной из карт. Если же модель большая и её надо резать между картами, смотрите связки на NVLink в паре A100 или H100.
Практический сценарий L40S: компания держит внутренний сервис генерации изображений и распознавания документов, нагрузка пиковая в рабочие часы, сервер один, кластер не нужен и усложнять стойку ради него не хочется. Под такую задачу карта закрывает и вычисления, и графику, а статья про выбор видеокарты для нейросетей помогает посчитать, сколько памяти реально нужно под такой сервис и не переплачиваете ли вы за лишние гигабайты, купленные на всякий случай вместо трезвого расчёта под конкретные модели. Ближайший десктопный родственник по архитектуре это RTX 4090: ядро то же, а корпус и память разные.