карточка справочника · всего в справочнике 8
NVIDIA RTX 3090 для нейросетей
Десктопная карта Ampere: 24 ГБ GDDR6X и поддержка NVLink. Почему RTX 3090 до сих пор берут под локальные нейросети.
NVIDIA RTX 3090 это десктопная карта на архитектуре Ampere, выпущенная в 2020 году. Интерес к ней держит одно: 24 ГБ памяти за цену заметно ниже новых карт. Это единственная десктопная карта в этом справочнике с поддержкой NVLink, то есть две карты можно связать мостом в единую машину.
Какие задачи тянет RTX 3090
- Локальные языковые модели: с квантованием больших моделей 24 ГБ это рабочий объём для моделей класса 30B.
- Связка из двух карт: NVLink позволяет собрать 48 ГБ общего объёма и держать модели крупнее, чем позволяет одна карта.
- Генерация изображений и дообучение небольших моделей: для этих задач карты Ampere всё ещё хватает.
Характеристики RTX 3090
- Память: 24 ГБ GDDR6X, пропускная способность 936 ГБ/с.
- Энергопотребление: до 350 Вт, при двух картах блок питания нужен от 1200 Вт.
- PCIe 4.0 и NVLink: мост между двумя 3090 даёт до 112 ГБ/с обмена, это быстрее PCIe и дешевле серверных платформ.
- Вычислительный массив: 10 496 ядер CUDA, тензорные ядра третьего поколения.
Чем RTX 3090 отличается от RTX 4090 и кому она подходит
Против старшей RTX 4090 поколения Ada карта медленнее на генерации и старше по математике, но память та же, а вторичный рынок делает её самым доступным входом в класс 24 ГБ. Для задач, где объём памяти важнее скорости отклика, это честная точка входа. Плюс именно у 3090 осталась поддержка моста NVLink: у 40-й серии мостов для десктопа уже нет, и связать две карты напрямую нельзя. Разница между поколениями на локальных моделях ощутима, но не критична: обе карты тянут один и тот же класс задач, разница в скорости, а не в списке того, что вообще запускается.
Практический сценарий 3090: сервер под локальные модели на скромном бюджете, где две б/у карты закрывают то, что раньше требовало датацентровых денег. Важно сразу посчитать расчёт питания и охлаждения: 350 Вт на карту в круглосуточном режиме это не только счёт за электричество, но и требование к корпусу и обдуву, причём запас надо закладывать на обе карты сразу, а не на первую попавшуюся, и проверять режим работы до круглосуточного старта. Как прикинуть, сколько места занимает модель до покупки карты, показано в статье про видеопамять.