DeepSeek刚提到FP8,英伟达就把FP4精度推向预训练,更快、更便宜

UE8M0 FP8具有鲜明的战略意义。DeepSeek 选择在模型端率先采用并公开声明使用UE8M0格式,将其训练与scale策略与该精度绑定。不知道是不是巧合,在DeepSeek为国产芯片准备的FP8量化策略的提出不久,就在今天,英伟达也在低精度量化领域再次发力。只不过这次不是 FP8 量化的新进展,而是向FP4量化跃进。