Что такое mig простыми словами

MIG, Multi-Instance GPU, это режим, в котором одна карта делится на несколько изолированных инстансов. Каждому достаётся своя доля памяти и вычислительных блоков, и работают они как отдельные маленькие карты: одна часть может считать инференс чат-бота, вторая гонять дообучение, и они не мешают друг другу. Если на одном инстансе задача упала или съела всю память, остальные продолжают работать.

Поддержка есть не у всех карт: это функция серверного класса, например карты вроде H100 делятся до семи инстансов, A100 до семи по памяти и вычислениям в других пропорциях. Десктопные карты и L40S такого режима не имеют: там задачи делят одну карту очередями, без аппаратной изоляции.

Когда MIG выручает

• Несколько команд на одном сервере: бухгалтерии не нужно ждать, пока отдел разработки закончит эксперимент.
• Разные задачи разной важности: тяжёлый расчёт на части карты, лёгкий продакшн-сервис на другой.
• Экономия: вместо четырёх слабых машин одна серверная, порезанная на честные доли.

Делить карту имеет смысл, когда задачи небольшие, но их много. Большой модели, которой нужна вся память H100 или H200, MIG только мешает: инстансы тогда объединять нельзя, карту надо отдавать целиком. Как устроить разделение мощностей на практике и что выгоднее, один общий сервер или машина под каждую команду, разобрано в статье про один GPU-сервер на несколько команд.