NVIDIA анонсировала NVFP4, новый формат чисел, использующий всего четыре бита для обучения больших языковых моделей, что в два-три раза ускоряет процесс и уменьшает потребление памяти на 50%. В ходе эксперимента была обучена 12-миллиардная модель Mamba Transformer на десяти триллионах токенов, и результаты с 4-битным NVFP4 оказались почти идентичными FP8 как по тесту MMLU Pro, так и по программированию MBPP+.

NVFP4 группирует значения в блоки по 16 чисел и использует маленький масштаб в 8 бит, а также глобальный масштаб в 32 бита для всего тензора. Это позволяет поддерживать точность как локальных, так и экстремальных значений, что важно для стабильности обучения. Метод также применяет стохастическое округление для минимизации накопления ошибок.

Формат NVFP4 интегрирован в Transformer Engine и новые GPU Blackwell, где операции с FP4 работают в два-три раза быстрее, чем FP8, при минимальных потерях точности. Это открывает новые горизонты для исследователей и разработчиков в сфере ИИ.

Хотите быть в курсе новостей из мира ИИ? Подписывайтесь на наш Telegram-канал BotHub AI News.