Что такое fp8 простыми словами

FP8 это формат чисел для вычислений внутри нейросети, в котором каждое число занимает 8 бит вместо привычных 16 или 32. Меньше бит, меньше места в памяти и быстрее пересылки, а тензорные ядра новых поколений считают в этом формате в разы быстрее. Изначально формат был инженерной экзотикой, но с архитектурой Hopper NVIDIA встроила в карты блок Transformer Engine, который сам решает, какие участки сети можно считать в FP8 без потери качества, и переключается на ходу.

Отсюда неочевидная арифметика: карты поколения Hopper ускоряются на трансформерных задачах не потому, что «ядро стало быстрее», а во многом потому, что умеют считать в экономном формате там, где это безопасно.

Чем FP8 отличается от квантизации

Их часто путают, потому что обе темы про «сжатие до 8 бит». Разница в моменте: квантизация это сжатие уже готовой модели после обучения, со своими допусками и проверкой качества. FP8 это формат, в котором модель изначально обучают или запускают на картах с поддержкой Transformer Engine, без отдельного шага сжатия.

Практический смысл для бизнеса простой: сервер с поддержкой FP8 тянет более тяжёлую модель или больший поток запросов на том же железе, а экономику выбора карты под задачу считают до покупки, а не после.