GPU-сервер: что это и чем отличается от обычного
Обычный сервер справляется с базами данных, сайтами и обменом файлами без всяких ускорителей. GPU-сервер решает другую задачу: он держит нейросеть, которая отвечает сотрудникам и клиентам круглосуточно. Вся машина собрана вокруг карт: блок питания с запасом под их аппетиты, корпус с продуманным обдувом, слоты и шины под несколько ускорителей сразу.
Что внутри GPU-сервера
Ускорители занимают главное место, но не единственное. Из чего состоит такая машина, от процессора до корпуса, разобрано в статье про сборку GPU-сервера: там видно, что решение принимается по списку карт, а не наоборот. Процессор и память в таком сервере не гонятся за рекордами: их работа это подготовка данных и раздача запросов, тяжелое считают карты.
Корпус и блок питания подбирают уже под конкретный список ускорителей.
Главное отличие от рабочей станции это надёжность под постоянной нагрузкой. Карта в игровом компьютере грузится волнами, а в сервере работает без пауз месяцами, поэтому требования к питанию и температуре совсем другие. Сколько тепла выделяет карта и что это значит для машины, объясняет TDP в характеристиках. Эти же цифры определяют требования к стойке и электрике, и считать их лучше до покупки карт, а не после первой ночи с перегревом.
Карты и связи между ними
Состав карт зависит от задачи. Для тяжёлых моделей и обучения берут датацентровые ускорители: пример флагмана собран в карточке H100, а для потока независимых запросов хватает карт попроще. Средний путь это серверные карты без мостов: они дают память датацентрового класса, но работают независимо. Если модель не влезает в одну карту, сервер собирают со связками между ускорителями: зачем карты соединяют шиной, разобрано в статье про NVLink между картами.
Память карт остаётся главным ресурсом: сколько её нужно под конкретные модели и потоки, показано в разборе VRAM под задачи. Конфигурация без запаса в три раза и без нехватки в первый день это расчёт, а не удача: сначала список моделей, потом карта, потом всё остальное.
Кому GPU-сервер не нужен
Честный ответ: тем, у кого нейросеть это эксперимент. Один сотрудник, который иногда генерирует картинки, обойдётся рабочей станцией, а распознавание разовых документов дешевле отдать в облако. Сервер окупается, когда нагрузка постоянная и предсказуемая: внутренний ассистент, поток документов, генерация для продукта. Границу между своим сервером и оплатой по часам проводят по цифрам: как это посчитать, показано в сравнении аренды GPU и своего сервера.