L40S: серверная карта между десктопом и H100
Между десктопными картами и датацентровыми флагманами есть промежуточный класс, и L40S его главный представитель: 48 ГБ памяти, серверные форматы вычислений и обычный двухслотовый корпус с воздушным охлаждением. Для многих задач это золотая середина: памяти больше, чем у десктопов, а сервер не превращается в специализированную платформу.
Что карта умеет
Архитектура у L40S та же, что у десктопного поколения: быстрые тензорные ядра с поддержкой восьмибитных форматов, уверенная генерация изображений и видео, инференс средних моделей. Память 48 ГБ GDDR6 закрывает сжатые модели, которые обслуживают офис или клиентский сервис, а запас позволяет держать рядом пару моделей под разные задачи. Характеристики собраны целиком в карточке L40S.
Сильная сторона это цена владения сервером. Карта встаёт в стандартную машину с воздушным охлаждением: замена силами обычного администратора, без инженера по жидкостному контуру и без специальной стойки. Обмен с соседними картами идёт по обычной шине, и если задачи самостоятельные, это не недостаток: почему так, объясняет PCIe в спецификациях. Для потока самостоятельных задач разница не видна в отчётах.
Когда L40S не подходит
Ограничение одно: нет быстрой шины между картами. Большая модель, разрезанная на части по нескольким картам, требует постоянного обмена, и здесь нужны связки уровня H100 с NVLink или хотя бы связки десктопных карт с мостами. Если в планах обучение больших моделей или тяжёлые трансформерные нагрузки, L40S не тот инструмент: под нагрузкой такого класса карта упирается в обмен между картами, и часть мощности простаивает в ожидании данных. Для потока независимых запросов, внутренней генерации и распознавания документов ограничение не ощущается вовсе.
Выбор между картой и флагманом, как обычно, решает список задач: сколько памяти занимает модель, какой поток запросов, что будет через год и какие модели появятся в команде. Методика расчёта дана в подборе видеокарты для нейросетей, а как посчитать память под конкретные модели, показано в расчёте VRAM под задачи.