Тензорные ядра: как они ускоряют нейросети

В спецификациях карт есть строка, которая объясняет, почему одна карта справляется с нейросетью, а другая с теми же гигабайтами памяти нет: тензорные ядра. Это специальные вычислительные блоки, спроектированные под одну операцию, которая занимает почти всё время работы модели. Что это за операция и почему под неё сделали отдельное железо, разберём без математики.

Почему матрицы

Нейросеть это последовательность слоёв, и каждый слой перемножает огромные таблицы чисел: входные данные на веса модели. Никакой магии, только умножение и сложение в промышленных масштабах, миллиарды раз на каждый ответ. Обычные ядра карты делают такие перемножения поштучно и медленно, тензорные ядра карт берут целые блоки матриц за один такт. Отсюда разрыв в скорости: карта с тензорными ядрами отвечает за секунды там, где без них уходят минуты. Для серверных карт этот разрыв и есть главный смысл покупки.

Поколения этих блоков различаются поддерживаемыми форматами чисел. Новые ядра умеют считать на коротких восьмибитных числах, где на одном такте помещается в разы больше операций, а качество ответов почти не страдает. Связка быстрых ядер и экономных форматов это то, за что платят в серверных картах: пример карты, где это собрано по-максимуму, это H100 и её семейство.

Что это значит при выборе карты

Первое: для нейросетей смотрят тензорную производительность и память, а не частоту и количество ядер в игровых обзорах. Второе: поколение карты имеет значение, потому что каждое новое поколение ядер добавляет форматы и скорость на реальных моделях. Третье: без экосистемы железо мертво, вычисления до ядер доставляет CUDA, под неё собран весь стек локального ИИ, поэтому совместимость карты это тоже часть выбора.

Сколько вся эта математика съедает памяти и как прикинуть потребность под свои модели, разобрано в расчёте VRAM под задачи. А как тензорные ядра проявляют себя на конкретной рабочей станции, показано в разборе RTX 5090 в работе: там же видно, где карта упирается не в ядра, а в память.