Tag · 36 篇
视觉基础模型
视觉基础模型可以成为潜扩散模型的优秀分词器
Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models
把冻结的视觉基础模型（如 DINO 类语义特征）直接当作潜扩散模型的分词器，并配一个从语义特征重建真实图像的解码器，可显著加快扩散训练收敛；做 LDM 的人可以据此替换 VAE 分词器，做表征学习的人可借鉴其双侧对齐训练策略。
以2D语义知识解锁3D功能可供性分割
Unlocking 3D Affordance Segmentation with 2D Semantic Knowledge
利用2D视觉基础模型的语义知识，通过跨模态亲和力迁移预训练3D编码器，为点云功能可供性分割提供结构化特征学习方案。
迈向低光照理解的泛化表征：当信号恒常性遇上语义增强
Towards Generalized Representations for Low-Light Understanding: When Signal Constancy Meets Semantic Enrichment
把视觉基础模型的语义先验与光照不变信号先验耦合进低光照增强：用并行解码器重建光照不变分量做正则化、用 VFM 自相关图引导对比训练对齐语义空间，再用 CLIP 损失把语义线索注入像素级增强，可作为无真实低光数据下的通用域适应范式迁移到其他退化任务。
图像即奖励：面向图像生成的对抗奖励强化学习
The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation
用参考图像和视觉基础模型（如 DINO）提供密集视觉奖励，替代标量偏好奖励，可缓解奖励攻击并提升生成质量；该对抗奖励框架可复用于扩散模型或流匹配模型的强化学习微调。
测试时三维占用预测
Test-Time 3D Occupancy Prediction
利用视觉基础模型在测试时增量构建并优化3D高斯，再体素化为任意分辨率的占用预测，无需训练即可实现开放词表识别，为动态场景理解提供免训练、可适配的3D表示方案。
Tell2Adapt：基于视觉基础模型的无源无监督域自适应统一框架
Tell2Adapt: A Unified Framework for Source Free Unsupervised Domain Adaptation via Vision Foundation Model
利用视觉基础模型（VFM）的上下文感知提示正则化生成高质量伪标签，并通过视觉合理性精炼将预测重新锚定到目标图像的低层特征，为无源域自适应分割提供可复用的两阶段框架。
TF-SSD：通过协同掩码筛选构建免训练协同显著性目标检测的强流水线
TF-SSD: A Strong Pipeline via Synergic Mask Filter for Training-free Co-salient Object Detection
展示如何免训练地协同 SAM 与 DINO：用 SAM 生成候选掩码池，再用 DINO 注意力图做图像内显著性筛选、用跨图像原型相似度做图像间选择，可直接迁移到其他需要跨图像一致性的分割任务。
TanGo：面向医学图像泛化的分布级基础先验一致性与实例级风格校准学习
TANGO: Learning Distribution-wise Foundation Prior Consistency and Instance-wise Style Calibration for Medical Image Generalization
把冻结的视觉基础模型编码器中的低频稳定表征作为分布级先验来约束源模型的特征分布，并用可学习的数据装饰器把测试图像拉回增强后的源域分布——这套「基础模型先验 + 实例级风格校准」的组合可直接迁移到其他面临域偏移的密集预测任务（如跨中心分割、跨域检测）。
SpatiaLQA：评估视觉语言模型空间逻辑推理能力的基准
SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models
可复用其递归场景图辅助推理框架：用视觉基础模型把复杂室内场景逐步分解为与任务相关的场景图，再交给 VLM 做多步空间逻辑推理，这一思路可直接迁移到具身导航、机器人操作等需要空间关系判断的视觉任务。
SoccerMaster：面向足球理解的视觉基础模型
SoccerMaster: A Vision Foundation Model for Soccer Understanding
可借鉴其「监督式多任务预训练」把检测、事件分类等异构任务统一进单个基础模型的范式，以及 SoccerFactory 这种用自动化流水线从现有视频数据集批量生成多任务标注的做法，用于构建其他垂直领域的基础模型。
SigLino：面向凝聚式视觉基础模型的高效多教师蒸馏
SigLino: Efficient Multi-Teacher Distillation for Agglomerative Vision Foundation Models
把 SigLIP2 与 DINOv3 两个教师的知识蒸馏进 Dense/MoE 学生，并给出非对称关系知识蒸馏损失、词元均衡批处理与层次聚类数据采样三条可复用配方，可直接用于构建早期融合 Grounding-VLM 的视觉主干。
Selfi：通过三维几何特征对齐的自改进重建引擎
Selfi: Self-improving Reconstruction Engine via 3D Geometric Feature Alignment
通过重投影一致性损失将 VGGT 特征蒸馏到几何对齐的特征空间，可作为一种通用的自监督特征对齐手段，提升多视图几何一致性，直接用于新视角合成和相机姿态估计。
选择性、正则化与校准：利用视觉基础模型进行跨域少样本语义分割
Selective, Regularized, and Calibrated: Harnessing Vision Foundation Models for Cross-Domain Few-Shot Semantic Segmentation
对做分割的人，这篇给出了一个在冻结 VFM 特征上做测试时适配的完整范式：用数据相关的 Exemplar Transfer Risk 自动挑层、再用先验引导正则化与像素级校准修正交互图，且只微调不到 2.7% 参数，可直接迁移到其他少样本/跨域密集预测任务。
从视觉基础模型扩展密集事件流预训练
Scaling Dense Event-Stream Pretraining from Visual Foundation Models
提出结构感知蒸馏损失，利用视觉基础模型（VFM）的语义结构作为监督信号，解决事件流与图像跨模态对齐中的语义坍缩问题，可复用于其他模态（如事件、深度、热成像）与VFM的对齐预训练。
在基础模型时代重新审视模型拼接
Revisiting Model Stitching In the Foundation Model Era
提出在目标模型倒数第二层使用简单特征匹配损失训练拼接层，使异构视觉基础模型（如 CLIP、DINOv2、SigLIP2）可靠拼接，为多模态大模型共享早期层、灵活组合不同 VFM 优势提供可复用技术。
QueryOcc：面向 3D 语义占用的查询式自监督
QueryOcc: Query-based Self-Supervision for 3D Semantic Occupancy
用跨相邻帧采样的 4D 时空查询直接对连续 3D 占用做自监督，配合收缩式场景表示在恒定显存下覆盖远距离区域，可替代基于 2D 渲染一致性或离散体素的监督方式，用于相机/激光雷达输入的占用学习。
探测并桥接视觉基础模型中可供性推理的几何-交互线索
Probing and Bridging Geometry-Interaction Cues for Affordance Reasoning in Vision Foundation Models
对做视觉研究的人，这篇论文提供了一种无需训练、零样本的可供性估计思路：把 DINO 的部件级几何原型与 Flux 的动词条件空间注意力图直接融合，可作为视觉基础模型内部表征探测与多模态先验组合的通用手段。
PR-MaGIC：通过掩码解码器梯度流进行提示词精炼的上下文分割
PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation
提出一种无需训练的测试时提示词精炼框架，利用 SAM 掩码解码器的梯度流优化提示词，可无缝集成到现有上下文分割方法中，提升分割质量。
OpenDPR：基于视觉中心扩散引导原型检索的遥感影像开放词表变化检测
OpenDPR: Open-Vocabulary Change Detection via Vision-Centric Diffusion-Guided Prototype Retrieval for Remote Sensing Imagery
将扩散模型作为离线原型生成器，在视觉空间进行开放词表检索，为视觉基础模型（SAM、DINOv2）与视觉语言模型（CLIP）的类别识别瓶颈提供免训练解决方案；S2C 弱监督模块可复用为适配 VFM 空间先验的通用变化定位方法。
NAF：基于邻域注意力滤波的零样本特征上采样
NAF: Zero-Shot Feature Upsampling via Neighborhood Attention Filtering
NAF 提供了一种与具体 VFM 无关的零样本特征上采样器，可直接插在任意视觉基础模型（如 DINOv2、SAM）之后，为分割、深度估计等像素级任务恢复高分辨率特征，无需针对每个 VFM 重新训练；其跨尺度邻域注意力 + RoPE 的权重预测方式也可迁移到其他需要内容自适应滤波的环节。
爱屋及乌：重新思考标签在视觉上下文学习提示词检索中的作用
Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning
为视觉上下文学习中的提示词检索引入标签一致性约束，并设计图像-标签联合表示与查询自适应混合专家路由，可直接用于分割、检测等下游任务的提示词选择。
INSID3：基于 DINOv3 的免训练上下文分割
INSID3: Training-Free In-Context Segmentation with DINOv3
利用冻结的 DINOv3 密集自监督特征直接进行语义匹配和分割，无需微调或辅助模型，为少样本分割提供了极简且强泛化的新范式。
面向语义分割的视觉基础模型可泛化知识蒸馏
Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation
把表征学习与任务学习解耦：先做选择性特征蒸馏得到域无关表征并冻结，再做任务适配，可作为一种通用的「先蒸馏表征、后微调任务」范式，用于任何需要从 VFM 迁移到小模型且要求分布偏移下泛化的视觉任务。
GeCo：面向域泛化语义分割的几何一致性正则化
GeCo: Geometry-Consistent Regularization for Domain Generalized Semantic Segmentation
针对在 DGSS 中用 PEFT 微调 VFM 时适配器过拟合源域、破坏预训练几何结构的问题，GeCo 用曲率引导扰动和测地线正则化在保持流形结构的前提下扩展表征，可直接迁移到其他基于 VFM 微调的密集预测任务（如深度估计、开放词表分割）的正则化设计。
Franca：面向可扩展视觉表征学习的嵌套 Matryoshka 聚类
Franca: Nested Matryoshka Clustering for Scalable Visual Representation Learning
嵌套 Matryoshka 多头部聚类投影器可在不增大模型规模的前提下把特征逐级细化为更细粒度的簇，配合从稠密表征中显式剥离位置偏置的策略，可直接用于改进 DINO 类自监督预训练的稠密特征质量，对分割、深度估计等下游密集预测任务有直接迁移价值。
基础模型先验在特征空间中增强目标聚焦以用于无源目标检测
Foundation Model Priors Enhance Object Focus in Feature Space for Source-Free Object Detection
用 OV-SAM 生成的类无关二值掩码作为空间先验，直接正则化检测器特征空间而非仅修伪标签，这一「基础模型先验约束特征」的思路可迁移到其他无源域自适应检测、分割任务中抑制背景杂波响应。
面向域自适应目标检测的专家—教师—学生协同学习
Expert-Teacher-Student Collaborative Learning for Domain Adaptive Object Detection
把大规模视觉基础模型当作免训练的「专家」，与教师模型协同生成伪标签并做类级原型对齐，为跨域检测提供了一条无需额外训练成本就能引入 VFM 泛化知识的路径，可直接迁移到其他需要伪标签监督的域自适应视觉任务。
Depth Any Endoscopy：面向单目内窥镜自监督可泛化深度估计
Depth Any Endoscopy: Towards Self-Supervised Generalizable Depth Estimation in Monocular Endoscopy
把视觉基础模型通过双层 MoE（内部 LoRA/Adapter、外部域专家）适配到内窥镜深度估计，并用可学习梯度协调平衡深度与位姿网络优化，可直接迁移到其他跨域自监督单目深度任务。
通过视觉基础模型探究医学图像分割中的偶然不确定性
Delving Aleatoric Uncertainty in Medical Image Segmentation via Vision Foundation Models
利用视觉基础模型解码特征的奇异值能量定义语义感知尺度来量化偶然不确定性，可迁移到其他密集预测任务中做样本筛选和损失加权。
DFD-HR：通过层级路由学习实现可泛化的深度伪造检测
DFD-HR: Generalizable Deepfake Detection via Hierarchical Routing Learning
把 PEFT 从「少调参数」推进到「调对参数」：层级的自适应早退剪枝加词元级 Spearman 排序筛选，可直接迁移到任何基于 CLIP 的伪造/异常检测或细粒度分类任务中，作为提升跨域泛化的通用微调策略。
COG：面向无监督单参考新物体姿态估计的置信度感知最优几何对应
COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation
把跨视角对应从不可微的一对一硬匹配换成带逐点置信度的最优传输软匹配，并用视觉基础模型的语义先验做正则，这套「置信度作为 OT 边缘分布」的做法可直接迁移到任何需要鲁棒特征匹配的位姿/配准任务。
C-GenReg：基于多视图一致几何到图像生成与概率模态融合的免训练三维点云配准
C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion
将点云配准转化为图像域匹配问题，利用世界基础模型生成多视图一致RGB，再借助视觉基础模型提取稠密对应，为跨模态配准提供免训练、即插即用的新范式。
Bridge：基驱动因果推理结合视觉基础模型实现域泛化
Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization
把因果前门调整实现为可学习的低秩基，用来阻断光照、风格、共现等混杂因子对检测器的虚假关联，并可作为即插即用模块挂到 DINOv2/3、SAM、Stable Diffusion 等视觉基础模型上，为单源域泛化检测提供了一条不依赖目标域数据的通用思路。
酿造更强特征：面向多光谱对地观测的双教师蒸馏
Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation
将现代光学视觉基础模型的对比自蒸馏范式迁移到多光谱遥感预训练，通过双教师（多光谱教师+光学VFM教师）对齐全局语义结构，为跨模态表征学习提供了可复用的蒸馏框架。
AnomalyVFM——将视觉基础模型转化为零样本异常检测器
AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors
把任意预训练视觉基础模型（如 DINOv2、RADIO）通过低秩特征适配器加置信度加权像素损失改造成零样本异常检测器，并给出三阶段合成异常数据生成方案，可直接复用于工业质检等无监督缺陷定位场景。
混合食谱让 DINO 成为杂食性视觉编码器
A Mixed Diet Makes DINO An Omnivorous Vision Encoder
把 DINOv2 这类单模态基础模型通过「跨模态对齐 + 冻结教师蒸馏」扩展成模态无关编码器，可直接复用于 RGB-D、分割图、深度图等多模态输入的统一特征提取与跨模态检索。