NVIDIA анонсировала новый формат чисел NVFP4, предназначенный для обучения крупных языковых моделей. Этот формат использует всего четыре бита на число, что вдвое сокращает традиционные 8 или 16 бит. Применение NVFP4 минимизирует потерю точности вычислений, вдвое-трижды ускоряет процесс обучения и снижает потребление памяти на 50%. В ходе исследований NVIDIA обучила 12-миллиардную модель Mamba Transformer на 10 триллионах токенов, и результаты с 4-битным NVFP4 почти не уступают FP8, как показали тесты MMLU Pro и задачи MBPP+.

Структура NVFP4 организует данные в блоки по 16 чисел, храня при этом небольшой масштаб в 8 бит для каждого блока и глобальный масштаб в 32 бита для всего тензора. Это обеспечивает точность локальных и крайних значений, гарантируя стабильность обучения. Метод также включает стохастическое округление для минимизации ошибок. Переход на BF16 на последних этапах полностью устраняет оставшиеся расхождения.

Формат NVFP4 уже интегрирован в Transformer Engine и новое поколение GPU Blackwell. На этих графических процессорах операции с FP4 происходят в 2-3 раза быстрее, чем с FP8, а потери точности при валидации составляют всего 1-1.5%. NVFP4 значительно ускоряет обучение языковых моделей, снижает энергозатраты и повышает эффективность вычислительных ресурсов, открывая новые горизонты для исследователей в области ИИ.