Tag · 4 篇
低比特量化
VLM-PTQ：面向大型视觉语言模型的高效训练后量化
VLM-PTQ: Efficient Post-Training Quantization for Large Vision-Language Models
为视觉-语言大模型提供了一种非对称训练后量化框架，通过闭式修正项和模态感知的通道重要性区分，在低比特下显著提升量化性能，可直接用于压缩部署VLM。
重新审视非对称量化：视觉模型权重中的隐藏对称性
Rethinking Asymmetric Quantization: Hidden Symmetry in Vision Model Weights
对需要在边缘/FPGA上部署视觉模型的读者，DASQ 给出了一条可复用的权重分解思路：先用稀疏分量剥离少量离群值，使剩余稠密权重近似对称，从而用无零点的对称量化替代非对称量化，在分类、检测、实例分割上同时降低 BOPs 与硬件开销。
面向大型视觉语言模型的细粒度训练后量化：基于量化感知积分梯度
Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients
把量化敏感度的粒度从模态级下推到词元级，用积分梯度定量衡量每个词元对量化误差的贡献，可直接迁移到任意 LVLM 的 W4A8/W3A16 部署流程中，作为校准阶段的即插即用模块。
CAR-SAM：面向分割一切模型训练后量化的交叉注意力重建
CAR-SAM: Cross-Attention Reconstruction for Post-Training Quantization of the Segment Anything Model
针对 SAM 解码器中交叉注意力结构做训练后量化，提出把 MatMul 激活量化误差转移到前置线性权重的补偿机制，以及联合重建双向耦合注意力分支的策略，可直接迁移到其他含交叉注意力的视觉 Transformer 模型（如检测、分割解码器）的低比特部署。