高效模型与推理加速 / CVPR2026
S2D:选择性谱衰减,用于神经激活的量化友好调理
S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations
对做视觉大模型部署的人,S2D 给出一个在微调阶段抑制激活离群值的正则手段:只对权重最大奇异值对应的分量做谱衰减,就能让 CLIP/SigLIP 类骨干在 W4A4 PTQ 下少掉点,可直接接到自己的量化流水线前。
量化激活离群值谱正则化