Tag · 23 篇
视觉Transformer
UniRefiner：通过对比寄存器教预训练ViT自行处置伪影
UniRefiner: Teaching Pre-trained ViTs to Self-Dispose Dross via Contrastive Register
提出用对比寄存器（contrastive registers）在少量微调下净化预训练ViT中的伪影词元，可直接用于提升任何ViT在分割、深度估计等密集预测任务上的空间表征质量。
UnReflectAnything：通过渲染合成镜面高光监督实现仅RGB的高光去除
UnReflectAnything: RGB-Only Highlight Removal by Rendering Synthetic Specular Supervision
提出用单目几何与Fresnel着色渲染物理合理的合成高光作为监督信号，使仅用RGB图像即可训练高光去除模型；其token级特征修复模块可复用于其他需要恢复被遮挡或损坏特征的底层视觉任务。
将预训练视觉 Transformer 转变为端到端病理全切片图像模型以用于生存预测
Turning Pre-Trained Vision Transformers into End-to-End Histopathology Whole Slide Image Models for Survival Prediction
把预训练 ViT 直接改造成端到端全切片图像模型，省去两阶段流程中的离线特征提取与 MIL 聚合，且不增加参数；对做病理或超大分辨率图像分析的人，这是一种可复用的「免额外参数、直接吃整张组织区域」的改造思路。
TriLite：基于通用视觉特征与三区域解耦的高效弱监督目标定位
TriLite: Efficient Weakly Supervised Object Localization with Universal Visual Features and Tri-Region Disentanglement
用冻结的 DINOv2 ViT 特征配合极少量可训练参数（<800K）做单阶段弱监督定位，TriHead 把图像块特征解耦为前景/背景/模糊三区以提升物体覆盖度，为「冻结大骨干+轻量头」的定位与密集预测任务提供了可复用范式。
面向无人机目标检测的三模态融合Transformer
Tri-Modal Fusion Transformers for UAV-based Object Detection
MAGE 的通道-空间门控与 BiTE 的双向词元级注意力提供了一套可复用的多模态融合模块，可直接插入 ViT 编码器的指定深度；其 61 组消融对融合位置与融合机制的对比，为设计多传感器检测骨干网络提供了实证参考。
TopoSlide：拓扑信息引导的组织病理全切片图像表征学习
TopoSlide: Topologically-Informed Histopathology Whole Slide Image Representation Learning
把持续同调这类拓扑描述子当作图像块聚类空间排布的监督信号，用条件多任务目标训练ViT，为视觉表征学习提供了一种可复用的全局结构归纳偏置，也可用于检索时的拓扑条件控制。
教师引导路由的稀疏视觉混合专家
Teacher-Guided Routing for Sparse Vision Mixture-of-Experts
提出用预训练稠密教师模型的中间表示构建教师路由器，为学生路由器的专家选择提供伪监督，从而稳定稀疏MoE训练中的路由波动；这一思路可直接迁移到视觉MoE模型（如V-MoE）的训练中，提升高稀疏配置下的路由一致性与精度。
TAS-LoRA：基于混合低秩适配专家的Transformer架构搜索
TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
将低秩适配（LoRA）作为子网专属参数引入Transformer架构搜索，配合混合专家路由，可缓解超网特征坍缩问题；该思路可迁移到视觉Transformer的轻量化搜索与参数高效微调场景。
选择即非线性：通过联合博弈决策视角桥接注意力与激活，实现可解释、判别性的视觉表征
Selection-as-Nonlinearity: Bridging Attention and Activation via a Joint Game-Decision Lens for Interpretable, Discriminative Visual Representations
提出将注意力视为成本约束下的选择操作，为理解视觉Transformer中注意力与FFN的互补性提供新视角，并据此设计CSaN模块，可即插即用地增强Swin、ViT、Hiera等骨干网络，在视觉基准上以更小规模媲美两倍大的同族模型。
ReMoE：面向对抗鲁棒视觉Transformer的区域混合专家
ReMoE: Region-Mixture Experts for Adversarially-Robust Vision Transformers
把 ViT 的 FFN 换成区域感知的多粒度专家层，并用注意力引导的 patch-to-region / region-to-patch 路由按空间位置激活专家，为对抗鲁棒性提供区域级归纳偏置；做 ViT 对抗防御或想把 MoE 用作结构先验的工作可直接复用该即插即用设计。
ReFTA：突破张量化参数高效微调中的权重重构瓶颈
ReFTA: Breaking the Weight Reconstruction Bottleneck in Tensorized Parameter-Efficient Fine-Tuning
对需要在 ViT-Large 等大模型上做下游适配的视觉研究者，ReFTA 用张量代数消去训练时的权重重构开销，并只微调主张量分量，可在比 LoRA 少 96% 可训练参数的情况下取得更高精度，是替换 LoRA/PiSSA 的即插即用微调方案。
随机分组胜出：重新审视视觉词元的分组策略
Random Wins All: Rethinking Grouping Strategies for Vision Tokens
用随机分组替代精心设计的词元分组策略来降低自注意力的二次复杂度，可直接替换 ViT 类骨干中的分组注意力模块，并在检测等下游任务上验证了迁移收益。
Polyphony：基于扩散与交替视觉Transformer及语义条件的双手动作分割
Polyphony: Diffusion-based Dual-Hand Action Segmentation with Alternating Vision Transformer and Semantic Conditioning
针对双手动作分割中的梯度失衡与语义混淆问题，提出交替训练双手机制与语义特征条件化，可迁移到其他多流/多主体视频时序建模任务中，缓解主导流垄断梯度的问题。
OneSparse：视觉模型中稀疏激活层的统一框架
OneSparse: A Unified Framework for Sparse Activation Layers in Vision Models
提出统一的稀疏激活层抽象（OneSparse）和Nexus层，将MoE与记忆模块结合，为视觉模型提供可插拔的高效模块，可直接用于替换CNN/Transformer中的FFN或卷积层以提升性能-效率前沿。
MuM：面向三维视觉的多视图掩码图像建模
MuM: Multi-View Masked Image Modeling for 3D Vision
把 MAE 从双视图 CroCo 扩展到任意多视图、统一掩码加帧间注意力轻量解码器，为需要几何推理的视觉任务（前馈重建、稠密匹配、相对位姿）提供了一个可直接替换 DINOv3/CroCo 的预训练编码器方案。
MUFASA：面向槽注意力的多层框架
MUFASA: A Multi-Layer Framework for Slot Attention
把槽注意力从只在ViT最后一层做，扩展到多层特征上分别做再融合，这个即插即用模块可以直接套到现有无监督目标分割/目标中心表征方法上，用极小的推理开销换取分割提升和更快收敛。
EEGiT：让视觉 Transformer 理解脑电信号
EEGiT: Teaching Vision Transformers to Understand the EEG signal
把时序脑电信号重排成类图像 patch 并插值对齐空间拓扑，从而直接复用预训练 ViT 的视觉先验——这套「非图像模态转 patch 后套用 ViT」的流程可迁移到其他低数据模态（如传感器、生理信号）的表征学习与检索。
行驶在寄存器之上
Driving on Registers
用相机感知的 register 词元把多相机 ViT 特征压成紧凑场景表示，再驱动轻量解码器生成并打分候选轨迹；这套「词元压缩 + 可解释子分数评分」的范式可直接迁移到其他需要多视角融合与实时推理的视觉任务。
面向稀疏直接飞行时间传感器的稠密度量深度补全
Dense Metric Depth Completion from Sparse Direct Time-of-Flight Sensors
提出深度引导的双分支ViT编码器与掩码联合注意力，防止稀疏深度token被图像特征覆盖，为稀疏深度补全提供可复用的融合机制；同时开源dToF仿真管线，支持在合成数据上训练后零样本迁移到真实设备。
没有图像也能学会看？视觉Transformer的程序化预热
Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers
提出用程序化生成的无视觉语义数据对ViT进行预热预训练，绕过图像块嵌入，可作为一种新的数据高效预训练策略，用于提升下游视觉任务的数据效率和收敛速度。
CHEEM：复用、新建、适配与跳过的持续学习——一种分层探索-利用方法
CHEEM: Continual Learning by Reuse, New, Adapt and Skip - A Hierarchical Exploration-Exploitation Approach
把神经架构搜索当作持续学习中的内部记忆：每个新任务通过 reuse/new/adapt/skip 四种原语动态改写骨干网络结构，视觉研究者可将其作为免样本类增量学习下替代 prompt 微调的骨干自适应方案，并复用其任务质心外部记忆做任务 ID 推理。
BinaryAttention：面向视觉与扩散Transformer的一比特QK注意力
BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers
将注意力中的QK点积二值化为符号位运算，用位运算替代浮点乘法，在视觉Transformer和扩散Transformer上实现端到端加速，为低比特注意力提供可复用方案。
超越[CLS]词元：查询驱动的词元级伪造净化用于可泛化深度伪造检测
Beyond [CLS] Token: Query-Driven Token-Level Forgery Purification for Generalizable Deepfake Detection
针对ViT基础模型在深度伪造检测中[CLS]词元偏向全局语义的问题，提出可学习的查询词元聚合多图像块证据，并设计伪造似然对比损失与真实注意力对齐约束，为利用视觉基础模型做细粒度取证提供了可复用的词元级特征重组方案。