Tag · 3 篇
稀疏化
分布 高效模型与推理加速2自监督与表征学习1
01 02 03
重新审视非对称量化：视觉模型权重中的隐藏对称性
Rethinking Asymmetric Quantization: Hidden Symmetry in Vision Model Weights
对需要在边缘/FPGA上部署视觉模型的读者，DASQ 给出了一条可复用的权重分解思路：先用稀疏分量剥离少量离群值，使剩余稠密权重近似对称，从而用无零点的对称量化替代非对称量化，在分类、检测、实例分割上同时降低 BOPs 与硬件开销。
HeSS：用于 VGGT 稀疏性重分配的检测头敏感度分数
HeSS: Head Sensitivity Score for Sparsity Redistribution in VGGT
对做 3D 重建/前馈几何模型的人，这篇给出了一个可直接套用的检测头级稀疏预算再分配方案：用小型校准集上的 Hessian 近似给每个注意力检测头打敏感度分，再按分数非均匀分配注意力预算，从而在 VGGT 这类全局注意力主干上以训练-free 方式换取高稀疏下的精度保持。
面向边缘持续学习的关键图像块感知稀疏提示与解耦训练
Critical Patch-Aware Sparse Prompting with Decoupled Training for Continual Learning on the Edge
把「关键图像块采样」作为任务感知的词元削减手段，配合提示词与分类器解耦训练来降低反向传播开销，为在显存受限的边缘设备上做视觉模型的持续适配提供了可复用的训练期效率方案。