Tech Times 科技与产业动态· Roger Satterfield·· 2 天前AI 评分55
DualQuant 无需校准数据实现四位量化，多数测试精度匹配 SmoothQuant
LLM Quantization Without Calibration Data Matches SmoothQuant: DualQuant Targets FP4 Hardware
AI 导读
DualQuant 仅利用模型权重，将权重与激活同时量化至四位精度，在多数受测模型和格式上达到或超过 SmoothQuant 的精度。其面向 MXFP4 和 NVFP4 格式，在 RTX 4090 上运行 Llama-3.1-8B 时，相比 BF16 基线实现2.61倍内存缩减和最高2.46倍吞吐加速。
来源：Tech Times 科技与产业动态 · techtimes.com