Один GPU-сервер на несколько команд: делим мощность по-честному
Типичная сцена из компаний, которые купили GPU-сервер: маркетинг гоняет генерацию картинок, разработчики дообучают модель, а поддержка держит чат-бота. Все в одной очереди, и в понедельник утром выясняется, что эксперимент разработки съел всю видеопамять, а клиентский бот молчит. Проблема не в том, что карта слабая, а в том, что её никто не разделил.
MIG: деление на уровне железа
Режим MIG делит карту на изолированные инстансы аппаратно: каждому своя доля памяти и вычислительных блоков. Задачи не видят друг друга, ошибка в одной части не роняет остальные, и прогноз «кому сколько достанется» становится арифметикой, а не переговорами. Серверный H100 делится до семи инстансов, а H200 поддерживает тот же режим с ещё большим запасом памяти.
Ограничение честное: аппаратное деление есть только у серверного класса. Десктопные карты и L40S делятся лишь программными очередями, без изоляции: кто первый занял память, тот и прав.
Кому подходит деление, а кому целая карта
- Отдел из трёх команд с разными задачами: поддержка, аналитика, эксперименты; каждой по инстансу.
- Продакшн-сервис плюс песочница: клиентский бот на защищённой доле, тесты разработчиков на остальных.
- Маломощные задачи в количестве: десятки лёгких моделей на одной карте вместо десятка машин.
Деление не подходит, когда задача большая: модели, которой нужна вся память карты, инстансы только мешают, потому что склеить их обратно под одну задачу нельзя. Тяжёлый инференс большой модели это карта целиком или связка карт через NVLink.
Экономика: один сервер против нескольких
Аргумент за один серверный ускоритель простой: 700 Вт под нагрузкой на карте плюс один корпус, одна линия питания и один администратор против четырёх машин, каждая из которых простаивает три четверти времени. Подробно о том, как считать такое владение, включая электричество и обслуживание, разобрано в сравнении аренды и своей машины. А если команды разнесены по времени и пики не совпадают, деление превращает простой одних в ресурс других, чего не даст ни одна отдельная машина.