Что такое тензорное ядро простыми словами
Тензорные ядра это блоки ускорителя, которые перемножают матрицы быстрее обычных ядер. Почему без них нейросети медленные.
Тензорное ядро это специализированный вычислительный блок внутри графического ускорителя, который умеет перемножать большие матрицы чисел за один такт. Нейросети почти целиком состоят из таких перемножений, поэтому тензорные ядра и делают карту «нейросетевой»: обычные ядра CUDA справляются с той же работой, но в разы медленнее.
Тензорные ядра появились в картах NVIDIA ещё в 2017 году и с тех пор есть в каждом поколении, включая серверные ускорители. Они плотно связаны с платформой CUDA: фреймворки нейросетей сами раскладывают вычисления по этим блокам, поэтому пользователю не нужно ничего настраивать вручную. Поколения ядер различаются поддерживаемыми форматами: новые умеют работать с экономными восьмибитными числами и выдавать на них в разы больше операций.
Что важно понимать про тензорные ядра
- Скорость карты для нейросетей определяется ими, а не количеством обычных ядер или частотой.
- Форматы решают: те же ядра на восьмибитных числах считают в разы быстрее, чем на шестнадцатибитных, без потери качества ответов.
- Поколения важны в связке с памятью: старшие карты нового поколения выигрывают не только ядрами, но и быстрой памятью рядом с ними.
На практике разница между поколениями видна на тяжёлых задачах: генерация видео, большие модели, длинные контексты. Как это выглядит на конкретной карте, разобрано в статье про RTX 5090 в работе, где новые тензорные ядра показаны на реальных задачах генерации и локальных ассистентов, с цифрами скорости и примерами моделей, которые стабильно работают на карте без перегруза и выгрузки в обычную память, а полные характеристики карты собраны в карточке RTX 5090.