超低比特量化

LS-ViT：面向视觉 Transformer 低比特训练后量化的最小二乘 Hessian 块重建

LS-ViT: Least-Squares Hessian Based Block Reconstruction for Low-Bit Post-Training Quantization of Vision Transformers

对需要在边缘设备部署 ViT 的视觉研究者，这篇给出了一个即插即用的 4-bit 以下 PTQ 块重建方案：用最小二乘显式最小化跨样本的 Hessian 近似误差（补上被忽略的协方差项），可直接替换 APHQ-ViT/FIMA-Q 中的 Hessian 估计环节，且量化耗时更低。