原始标题： 震撼！辉达NVFP4格式突破4位元极限 AI训练效率翻倍 原始连结： https://news.cnyes.com/news/id/6129950 原文： 辉达 (NVDA-US) 发布其突破性的 NVFP4 浮点格式，宣称能以 4 位元（4-bit）的速度与 效率，实现 16 位元（16-bit）的训练精准度。这项技术的问世，不仅标志着大型语言模 型（LLM）开发的重大飞跃，更为 AI 训练的未来开启了全新的篇章。 cover image of news article 震撼！辉达NVFP4格式突破4位元极限 AI训练效率翻倍。(图:shutterstock) 过去，AI 训练主要依赖 16 位元或 32 位元的高精度浮点格式。尽管後训练量化（PTQ） 已证明 4 位元量化能显着提升推理吞吐量，但在要求极高稳定性和收敛性的预训练阶段 ，模型仍不得不依赖 BF16 或 FP8 等更高精度格式。 然而，AI 训练是极其耗费运算资源、电力和时间的过程。在有限的预算和 GPU 周期下， 如何最大化训练效率，成为所有 AI 开发者面临的核心挑战。 辉达发布的 NVFP4 技术，正是为了解决这一痛点。透过将模型权重和活化值的精度降低 到仅 4 个位元，NVFP4 能显着减少记忆体需求、提升算术运算吞吐量，并优化通讯效率 。 这使得 AI 工厂能够在相同的硬体配置下，处理更多的数据和代币，从而加速收敛周期， 并支援更大规模模型的快速开发，最终扩展 AI 所能达到的前沿领域。 辉达为 NVFP4 开发了一套专用的预训练方法，旨在解决大规模训练中的动态范围、梯度 波动和数值稳定性等核心挑战。其关键技术包括： 微区块缩放（Micro-block Scaling）：辉达 Blackwell 架构原生支援 NVFP4 格式。与 先前的 MXFP4 格式不同，NVFP4 将微区块大小从 32 个元素减少到 16 个，让每一小组 元素共享一个共同的缩放因子。这种更精细的粒度设计，能最大限度地减少异常值的影响 ，降低量化误差，并大幅提升整体模型准确性。 E4M3 高精度区块编码：缩放因子的精确度对於量化品质至关重要。NVFP4 采用更高精度 的 E4M3 缩放因子，并带有额外的尾数位，相较於 MXFP4 仅限於 2 的幂次方（E8M0）， 这使得数值表示更为精准，能更好地利用有限的量化区间。 张量分布重塑：预训练期间的梯度和活化值往往带有较大的异常值，这会影响低精度量化 。辉达透过对 GEMM（通用矩阵乘法）输入应用哈达玛变换（Hadamard transforms），将 张量分布重塑为更接近高斯分布的形态。这种方法能平滑异常值，使张量更容易被准确表 示，并在整个训练过程的前向和後向传播中保持透明。 量化保真度维持：为确保训练的稳定性与效率，NVFP4 技术采用了能够在前向传播与後向 传播之间保持一致性的量化方法。例如，选择性二维块式量化等技术，有助於在整个训练 周期中维持张量表示的对齐，最大程度地减少信号失真，并增强整体稳健性。 随机舍入（Stochastic Rounding）：与传统的确定性舍入不同，随机舍入确保梯度以机 率方式随机向上或向下舍入，其机率与数值距离两个可表示值之间的距离成正比。这一步 骤对於减少舍入偏差，维持训练期间的梯度流至关重要。 ●支援兆级代币规模完整预训练 为验证 NVFP4 的效能，辉达在一个类似於 NVIDIA Nemotron Nano 2 的 120 亿参数混合 Mamba-Transformer 模型上进行了实验。该模型在一个包含 10 兆代币的大规模数据集 上进行了完整的预训练。 实验结果显示，使用 NVFP4 从头开始训练的 12B 模型，其收敛曲线与作为基准的 FP8 模型高度吻合，且在训练过程中没有出现通常困扰超低精度训练的不稳定或发散问题。这 证明了 NVFP4 支援兆级代币规模完整预训练的能力。 此外，辉达将使用 NVFP4 预训练的模型与 FP8 基准模型在一系列下游任务和智慧领域进 行了比较。结果表明，NVFP4 的性能在所有领域都与 FP8 不相上下，证明了其有效性与 可靠性。 辉达正与亚马逊云端科技（AWS）、Cohere、Google 云端、Kimi AI、微软 AI、Mistral 、OpenAI、Perplexity、Reflection 和 Runway 等领先组织积极合作，共同探索 NVFP4 的潜力，将更加巩固其在 AI 技术领域的领先地位，也预示着未来 AI 训练将迈向一个更 高效、更节能的 4 位元时代。 心得： 虽然看不懂，但是好像很厉害。 进化速度变两倍，感觉又要大跃进了。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 116.241.142.240 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1756377335.A.F2A.html