Tag · 2 篇
全局注意力
分布 自监督与表征学习1高效模型与推理加速1
01 02
视觉 Transformer 需要的不仅是寄存器
Vision Transformers Need More Than Registers
论文指出 ViT 的 CLS 令牌会通过全局注意力把语义无关的背景图像块当作捷径来聚合全局语义，并给出一种选择性聚合图像块特征的方案；做视觉表征学习或下游微调时，可以直接替换 CLS 令牌的聚合方式，以抑制背景主导的伪影。
HeSS：用于 VGGT 稀疏性重分配的检测头敏感度分数
HeSS: Head Sensitivity Score for Sparsity Redistribution in VGGT
对做 3D 重建/前馈几何模型的人，这篇给出了一个可直接套用的检测头级稀疏预算再分配方案：用小型校准集上的 Hessian 近似给每个注意力检测头打敏感度分，再按分数非均匀分配注意力预算，从而在 VGGT 这类全局注意力主干上以训练-free 方式换取高稀疏下的精度保持。