карточка справочника · всего в справочнике 8
NVIDIA RTX 4080 для нейросетей
Десктопная карта Ada Lovelace: 16 ГБ GDDR6X и 320 Вт. Что RTX 4080 тянет в нейросетях, где упирается в память и чем отличается от RTX 4090.
NVIDIA RTX 4080 это десктопная карта на архитектуре Ada Lovelace, выпущенная в 2022 году. По вычислениям это почти уровень старшей карты поколения, но память вдвое меньше: 16 ГБ GDDR6X. Для нейросетей карта интересна там, где важна скорость на небольшой модели, а не объём под большую.
Какие задачи тянет RTX 4080
- Генерация изображений: основные модели генерации живут в 16 ГБ, а вычислительной плотности Ada хватает для быстрой сборки.
- Локальные языковые модели до 14B в сжатом виде: ассистент для текстов и кода работает шустро.
- Офисный ИИ-конвейер: распознавание документов, транскрибация встреч, потоковый инференс речевых моделей.
Характеристики RTX 4080
- Память: 16 ГБ GDDR6X, пропускная способность 717 ГБ/с.
- Энергопотребление: до 320 Вт, самый скромный аппетит среди карт этого класса в справочнике.
- PCIe 4.0: запас для локального стека без внешних ускорителей.
- Вычислительный массив: 9 728 ядер CUDA, четвёртое поколение тензорных ядер.
Чем RTX 4080 отличается от RTX 4090 и когда памяти хватает
Разница со старшей RTX 4090 с 24 ГБ ровно одна: объём памяти. Пока модель и её контекст помещаются, разница в скорости между картами умеренная и на глаз почти не видна; как только память заканчивается, начинается выгрузка весов в обычную память и комфортная работа превращается в ожидание каждого ответа. Поэтому 4080 покупают под понятный список задач: генерация, сжатые модели до 14B, потоковое распознавание. Если в планах большие модели, честнее сразу смотреть карту с большим объёмом и не надеяться на волшебные настройки.
Здесь легко ошибиться: список моделей кажется компактным, а память уходит незаметно. Логика памяти подробно и с примерами разобрана в статье про как считать память под модель: там показано, как вес модели, контекст и очередь запросов съедают гигабайты, и как прикинуть потребность до покупки карты, а не после первой недели работы. Для первых шагов без большой карты есть и компромиссные пути, описанные в статье про нейросеть без дорогого железа: небольшой ассистент часто собирается и вовсе без ускорителя.