Сервер для ИИ: как выбрать железо под нейросети
Сервер для нейросетей это не «очень мощный компьютер». Это машина с другим балансом: главный ресурс в ней не процессор, а видеокарта и её память, а всё остальное подбирается под неё. Если собрать такой сервер как обычный мощный ПК, получится дорого и медленно одновременно. Порядок выбора, который экономит деньги: задачи, модель, видеокарта, всё остальное.
От чего плясать: три вопроса
Первый: какие задачи. Ответы по базе знаний, черновики документов и рутинный разбор заявок это одна лига; тяжёлые кодогенерация, анализ больших массивов и профессиональное распознавание это другая, с более крупными моделями.
Второй: сколько людей одновременно. Один пользователь и очередь из двадцати это разные серверы при одной и той же модели. Одновременность решает через количество и размер GPU и через то, как развёрнута сама система.
Третий: где живёт сервер. Квартира или офис без серверной это ограничения по шуму и электричеству, и они меняют выбор корпуса и охлаждения сильнее, чем кажется.
Видеокарта и память
Видеоускоритель это рабочая лошадь нейросети: именно он считает ответ. Для локального запуска модели упираются в память видеокарты, поэтому подбор начинается с неё: сколько VRAM нужно модели, столько и должно быть на борту, с запасом на контекст и число одновременно работающих людей. Второй параметр, скорость памяти, влияет на то, как быстро модель «прочитывает» ваш запрос. Игровые карты берут для экспериментов, для постоянной нагрузки берут серверные: они рассчитаны на работу годами.
Всё остальное
Процессор для нейросети не критичен: средний современный серверный CPU справляется, его задача это раздача данных видеокартам и обслуживание остальной системы. Оперативной памяти обычно берут вдвое больше, чем весит модель: она нужна на подготовку и очередь. Диск: быстрые NVMe под саму модель и систему, объём под данные считается от ваших документов, а не от модели. Блок питания и охлаждение с запасом: видеокарты под нагрузкой греются и жрут, экономия здесь возвращает счёт за перегрев.
Когда сервер не нужен
Три честные альтернативы. Облачные API: если данные можно отдавать наружу, подписка дешевле железа при небольшом объёме. Аренда GPU: когда нагрузка редкая, но тяжёлая, платить за простаивающую машину невыгодно. Гибрид: рутина в облаке, чувствительные данные на своей машине, и это самый частый вариант в небольших компаниях.
Свой сервер сходится по деньгам при постоянной интенсивной нагрузке или при жёстких требованиях к приватности, когда вопроса «можно ли в облако» просто нет.
Перед покупкой полезно прочитать, какие локальные модели вообще существуют: выбор модели на шаг раньше меняет требования к железу сильнее, чем всё остальное.