Tag · 2 篇
激活离群值
01 02
TWEO：无极端离群值的 Transformer 实现 FP8 训练与傻瓜式量化
TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies
TWEO 通过一个简单的损失项消除激活离群值，使 ViT 和 LLM 无需工程技巧即可进行全模型 FP8 预训练，并支持硬件友好的 W8A8 静态量化，为视觉 Transformer 的低精度训练与部署提供了可直接复用的方法。
S2D：选择性谱衰减，用于神经激活的量化友好调理
S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations
对做视觉大模型部署的人，S2D 给出一个在微调阶段抑制激活离群值的正则手段：只对权重最大奇异值对应的分量做谱衰减，就能让 CLIP/SigLIP 类骨干在 W4A4 PTQ 下少掉点，可直接接到自己的量化流水线前。