Как выбрать видеокарту для нейросети: память, деньги, задачи
Частая ошибка при сборке машины под ИИ: выбирать видеокарту по рейтингам для игр или по цене процессора. Для нейросетей главный параметр карты другой: объём видеопамяти. Почему память решает и что влезает в какие карты, разобрано в статье про VRAM простыми словами, здесь поговорим о выборе конкретного железа.
Сначала модель, потом карта
Вопрос «какую карту купить» без вопроса «что на ней запускать» не имеет ответа. Разговор с моделью на 7 миллиардов параметров в приемлемом качестве требует примерно 6-8 ГБ памяти с учётом служебных данных, модель на 13 миллиардов хочет вдвое больше, на 70 миллиардов влезает только в профессиональные карты с 48 ГБ и выше или в связку карт. Отсюда честный порядок: смотрите, какая модель нужна под вашу задачу, прикидываете память с запасом процентов на тридцать, выбираете класс карты.
Что реально покупать
Игровые карты: RTX 4060 с 8 ГБ потянет компактные модели и эксперименты, 4070 или 4080 с 12-16 ГБ это комфортная рабочая лошадка для моделей до 13 миллиардов параметров, 4090 с 24 ГБ давно стала народной картой для локального ИИ: на ней живут модели до 30 с лишним миллиардов параметров в квантованном виде. Новое поколение сдвигает границу ещё выше. Профессиональные карты: RTX 6000 Ada и её родня с 48 ГБ для тяжёлых моделей и многопользовательской нагрузки, стоит как несколько 4090.
Байтовая карта (подержанная Tesla или Quadro с биржи) выглядит вкусно по цене за гигабайт, но требует серверной платформы, охлаждения и возни с драйверами. Для компании, которой нужен результат, а не хобби, обычно дешевле новая игровная карта, чем час инженерного времени на оживление ветерана.
Про что забывают
Блок питания: топовые карты жрут 300-450 Вт, к ним нужен запас и правильные разъёмы. Охлаждение: длинные ИИ-сессии греют карту в полнагрузки часами, корпус с продувом обязателен. Материнская плата и корпус: карты выросли в длину, измерьте слот заранее. Если карт несколько, память суммируется только для специальных схем запуска, в типовом случае каждая карта работает со своей моделью, и «две по 24» не равны «одной на 48».
Для команды, а не одного энтузиаста, считается и другой ресурс: сколько одновременных запросов выдержит карта. Один сотрудник за чатом и двадцать сотрудников в интранете это разные требования и, возможно, разные варианты: аренда или свой сервер.
Дальше по теме: как собрать машину целиком, от процессора до дисков, описано в статье про выбор сервера для ИИ.