Что такое pcie простыми словами

PCIe это общая шина компьютера, по которой графическая карта общается с процессором, памятью и накопителями. Для нейросетей у неё две работы: загрузка весов модели с диска в карту при старте и обмен данными во время работы, когда модель не помещается в одну карту и её части приходится гонять между картами и обычной памятью.

Скорости PCIe с запасом хватает для большинства локальных задач: модель загрузилась несколько секунд, дальше карта работает со своей памятью и шину почти не трогает. Узким местом шина становится в двух случаях: разбивка большой модели по нескольким картам без быстрой связки и активная работа с данными на накопителе прямо во время генерации. Во втором случае спасает быстрый диск на той же шине, а в первом смотрят карты с NVLink или уменьшают модель сжатием.

Где PCIe влияет на нейросети

• Загрузка модели: быстрый накопитель сокращает старт с минут до секунд при больших весах.
• Разбивка модели: без быстрой межкартовой шины карты обмениваются данными через PCIe и теряют скорость.
• Поколения: PCIe 4.0 и 5.0 различаются скоростью, но для одной карты разница почти незаметна.

Пример карты, спроектированной под работу через PCIe без быстрых межкартовых связей, это серверная L40S: каждая карта закрыта собой, а сервер собирается из стандартных компонентов без специализированной платформы, лишних слотов и дорогих мостов между картами. Как выбрать конфигурацию под конкретный список моделей и не переплатить за лишние разъёмы и шины, разобрано в статье про подбор карты под список задач.