Из чего состоит GPU-сервер: сборка без сюрпризов
Собрать сервер под нейросети это не игровая сборка на максималках. Машина будет работать круглосуточно, нагружена неравномерно и стоит больших денег, поэтому каждое решение в ней сводится к одному: обслуживать карты и не падать. Разберём компоненты по порядку.
Карты и платформа
Начало любой сборки это выбор ускорителей, и логика простая: задачи определяют карты, карты определяют платформу. Датацентровые карты требуют серверных платформ с посадкой и питанием, пример такого флагмана это H100. Десктопные карты в серверных корпусах дают больше гигабайт на рубль, а связки из старых карт вроде пары RTX 3090 остаются бюджетным входом в класс больших моделей.
Материнская плата и процессор подбираются под количество карт: нужны слоты нужного поколения и линии PCIe на каждую карту. Процессор не считает нейросеть, его работа это раздавать запросы и готовить данные, поэтому гнаться за топовыми ядрами смысла нет. А вот планки обычной памяти берут с запасом: веса моделей при загрузке и очереди запросов живут и там тоже.
Питание и охлаждение
Самые дорогие ошибки сборки прячутся здесь. Суммарный аппетит карт плюс процессор дают нижнюю границу блока питания, сверху нужен запас примерно на треть: сервер не должен работать на пределе. Как считать ватты и тепло, разобрано в TDP в спецификациях. Это же число определяет и выбор корпуса, и мощность блока питания. Охлаждение это корпус с продуманным обдувом и место в стойке или под столом с притоком воздуха: карта, которая месяцами греется в глухом корпусе, умирает тихо и внезапно.
Накопители и мелочи
Веса моделей это десятки и сотни гигабайт, и они грузятся с диска при каждом старте. Медленный накопитель превращает перезапуск сервера в пятнадцатиминутный ритуал, поэтому ставят быстрые диски с запасом под растущий зоопарк моделей. Обмен карт с накопителем идёт по шине, и почему её поколения не так страшны, как кажется, объясняет PCIe простыми словами.
Финальный вопрос сборки это цена владения: что дешевле, своя машина или оплата часов в облаке. Ответ зависит от нагрузки и считать его надо по своим цифрам: методика дана в сравнении своего сервера и аренды GPU. А сколько памяти под конкретные модели нужно, чтобы не купить лишнего, показывает расчёт VRAM под задачи.