低精度训练

TWEO：无极端离群值的 Transformer 实现 FP8 训练与傻瓜式量化

TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies

TWEO 通过一个简单的损失项消除激活离群值，使 ViT 和 LLM 无需工程技巧即可进行全模型 FP8 预训练，并支持硬件友好的 W8A8 静态量化，为视觉 Transformer 的低精度训练与部署提供了可直接复用的方法。