Tag · 13 篇
视觉-Transformer
VisualAD：基于视觉 Transformer 的无语言零样本异常检测
VisualAD: Language-Free Zero-Shot Anomaly Detection via Vision Transformer
去掉文本分支、只用冻结 ViT 骨干加两个可学习 token 来编码正常/异常语义，为视觉研究者提供了一个可复用的纯视觉零样本判别范式，可直接替换 CLIP 文本提示词方案并适配 DINOv2 等骨干。
视觉 Transformer 需要的不仅是寄存器
Vision Transformers Need More Than Registers
论文指出 ViT 的 CLS 令牌会通过全局注意力把语义无关的背景图像块当作捷径来聚合全局语义，并给出一种选择性聚合图像块特征的方案；做视觉表征学习或下游微调时，可以直接替换 CLS 令牌的聚合方式，以抑制背景主导的伪影。
缺失的 GAP：从求解方形拼图到处理真实世界考古碎片
The Missing GAP: From Solving Square Jigsaw Puzzles to Handling Real World Archaeological Fragments
GAP 提供了由真实考古碎片分布驱动的、形状不受限且严重侵蚀的合成拼图数据集，可用于评测形状不规则碎片的装配算法；PuzzleFlow 用 ViT 加 Flow-Matching 建模碎片间的连续匹配关系，为处理非方形、带侵蚀的碎片装配提供了可复用的建模范式。
稀疏性作为钥匙：从潜变量结构中解锁分布外检测的新洞见
Sparsity as a Key: Unlocking New Insights from Latent Structures for Out-of-Distribution Detection
把 Top-k 稀疏自编码器套在 ViT 的 [CLS] 词元上，将稠密特征解耦成结构化潜空间，并用类激活剖面（CAPs）的能量散度做 OOD 打分；做 ViT 特征分析或需要可解释 OOD 判据的工作可直接复用这套「稀疏解耦 + 剖面偏离」流程。
面向视觉 Transformer 的显著性驱动词元合并
Saliency-Driven Token Merging for Vision Transformers
提供了一种免训练的词元合并策略：利用输入图块的潜在视觉显著性统计量判断哪些词元与全局梯度方向不一致，从而安全合并，可直接插入任意 ViT 主干以降低浮点运算量，无需微调。
SPAR：面向开放词表分割的单次任意分辨率视觉 Transformer
SPAR: Single-Pass Any-Resolution ViT for Open-vocabulary Segmentation
SPAR 通过特征回归蒸馏，将滑窗教师的空间推理能力迁移到单次前向的学生模型，使 ViT 无需架构改动即可高效处理任意分辨率输入，可直接用于开放词表分割等密集预测任务的高分辨率推理。
PercHead：面向单图三维头部重建与编辑的感知头部模型
PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing
用 DINOv2 + SAM 2.1 特征构造的感知损失可直接替换 LPIPS/SSIM/L1，作为高频细节监督的通用手段；ViT 解耦 3D 表示与 2D 输入的架构也值得借鉴到单图重建任务。
NuWa：为边缘设备推导轻量级类别特定视觉 Transformer
NuWa: Deriving Lightweight Class-Specific Vision Transformers for Edge Devices
对需要在无人机、智能车等边缘设备上部署 ViT 的视觉研究者，NuWa 提供了一种免重训练的闭式剪枝流程：用类别特定数据做自知识纯化，剔除对目标类别有害的权重，再一次性闭式求解得到紧凑子网，可直接复用于任意类别子集的定制化部署。
Logit 间隔排斥用于后门防御
Logit-Margin Repulsion for Backdoor Defense
针对量化/剪枝后才激活的条件后门，LMR 用少量干净样本配合 logit-margin 约束放大后门类与良性类的间隔，再按通道选择性剪枝去除后门通路；做模型压缩部署或需要清洗第三方预训练权重时，这套「间隔约束+通道定位」流程可直接复用。
LS-ViT：面向视觉 Transformer 低比特训练后量化的最小二乘 Hessian 块重建
LS-ViT: Least-Squares Hessian Based Block Reconstruction for Low-Bit Post-Training Quantization of Vision Transformers
对需要在边缘设备部署 ViT 的视觉研究者，这篇给出了一个即插即用的 4-bit 以下 PTQ 块重建方案：用最小二乘显式最小化跨样本的 Hessian 近似误差（补上被忽略的协方差项），可直接替换 APHQ-ViT/FIMA-Q 中的 Hessian 估计环节，且量化耗时更低。
Edge-RecViT：基于语义精炼动态递归的高效视觉 Transformer
Edge-RecViT: Efficient Vision Transformer via Semantic-Refined Dynamic Recursion
把「边缘词元富含结构信息」这一先验引入词元级动态深度分配，并配合隐层全共享参数的递归 Transformer，可在不改架构族的前提下同时压缩浮点运算量与参数量，适合直接迁移到 ViT 骨干的轻量化改造。
概念引导微调：引导 ViT 远离虚假相关以提升鲁棒性
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
用 LLM 无标签提出类相关概念、VLM 分割成概念掩码，再以微调目标把 ViT 的内部相关性图对齐到这些概念区域并抑制背景，是一种可直接复用的、无需人工标注的鲁棒性微调手段，也可用来提升模型可解释性。
一次对齐即可解释：面向可扩展 B-cos 化的基础视觉 Transformer 特征对齐
Align Once to Explain: Feature Alignment for Scalable B-cosification of Foundational Vision Transformers
提出一种免标签的一次性特征对齐方法，将任意预训练视觉基础模型（监督、自监督、视觉语言）转换为内在可解释的 B-cos 变体，且转换后模型可直接作为骨干网络用于下游任务，为视觉模型可解释性提供高效、可扩展的解决方案。