Tag · 44 篇
零样本泛化
基于视觉语言模型的零样本深度补全
Zero-Shot Depth Completion with Vision-Language Model
把稀疏深度以视觉 token、文本提示和文本监督三种方式注入 VLM，使通用视觉语言模型无需改结构即可输出带绝对尺度的稠密深度，为利用 VLM 语义先验做几何感知提供了一条可复用的路径。
什么构成了用于零样本立体匹配的优质合成训练数据？
What Makes Good Synthetic Training Data for Zero-Shot Stereo Matching?
对做双目立体匹配或任何需要合成训练数据的视觉任务，这篇论文给出了程序化生成器的参数消融方法论：逐参数扫描并测量零样本基准性能，可直接迁移到光流、深度估计等任务的数据集设计上。
VoxTell：可自由文本提示的通用三维医学图像分割
VoxTell: Free-Text Promptable Universal 3D Medical Image Segmentation
把自由文本提示（单词到完整临床句子）映射为三维掩码，并在解码器各层做多尺度视觉-语言融合，为医学体数据分割提供可复用的零样本跨模态迁移范式；其跨模态迁移与语言变体鲁棒性评测协议也值得借鉴。
VideoMaMa：基于生成先验的掩码引导视频抠图
VideoMaMa: Mask-Guided Video Matting via Generative Prior
利用预训练视频扩散模型的生成先验，将粗分割掩码细化为像素级 alpha matte，并构建大规模伪标签视频抠图数据集，为视频抠图提供可扩展的监督信号。
Vanast：通过合成三元组监督实现结合人体动画的虚拟试衣
Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision
将图像虚拟试衣与姿态驱动人体动画合并为单步统一生成，并用合成三元组监督（人物-服装-姿态视频）训练视频扩散 Transformer；其数据构造管线与 Dual Module 架构可直接迁移到需要身份保持的可控视频生成任务。
VIRO：面向指代表达理解的带验证鲁棒高效神经符号推理
VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension
在神经符号 REC 的推理链中嵌入算子级轻量验证器，使每个算子（物体存在性、空间关系）执行后自检并可弃权，为视觉推理系统提供抑制级联误检、处理无目标情形的可复用机制。
UnityVideo：面向世界感知视频生成的统一多模态多任务学习
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
将分割掩码、人体骨架、DensePose、光流、深度图等多种异构模态作为统一条件输入视频扩散模型，并用动态加噪统一不同训练范式、用模态切换器+上下文学习器实现模块化参数共享，为视觉研究者提供了一套可复用的多模态条件注入与跨模态泛化方案。
UniGeoSeg：面向地理空间场景的统一开放世界分割
UniGeoSeg: Towards Unified Open-World Segmentation for Geospatial Scenes
该工作构建了百万级遥感指令驱动分割数据集与统一框架，其任务感知文本增强、潜变量知识记忆与渐进式训练策略可直接迁移到开放世界分割与指代/推理分割任务中，为视觉研究者提供可复用的多任务分割基线与评测基准。
TR2M：借助语言描述与双层尺度导向对比将单目相对深度迁移为度量深度
TR2M: Transferring Monocular Relative Depth to Metric Depth with Language Descriptions and Dual-Level Scale-Oriented Contrast
把相对深度经文本+图像双模态条件、以像素级重缩放图映射到度量深度，并用深度分布引导的双层对比学习约束尺度，可作为跨域深度尺度对齐与伪度量标签构建的可复用范式。
StableMTL：改造潜扩散模型以从部分标注的合成数据集进行多任务学习
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
把预训练潜扩散模型改造成多任务密集预测的潜回归器，用统一潜损失替代逐任务损失、用任务注意力把 N-to-N 交互降为 N-to-one，为视觉研究者提供了一条免调损失权重、可随任务数扩展的多任务训练范式。
SegMoTE：面向医学图像分割的 token 级混合专家
SegMoTE: Token-Level Mixture of Experts for Medical Image Segmentation
把 SAM 类通用分割基础模型迁移到医学影像时，可用 token 级混合专家加少量可学习参数实现模态/解剖自适应，并用渐进式提示词 token 化实现全自动分割，为低标注成本下的基础模型领域适配提供可复用范式。
SR3R：重新思考基于前馈高斯泼溅的超分辨率三维重建
SR3R: Rethinking Super-Resolution 3D Reconstruction With Feed-Forward Gaussian Splatting
将三维超分辨率从逐场景优化转为前馈映射，利用大规模多场景数据学习三维高频先验，可直接与任意前馈3DGS骨干网络结合，提升稀疏低分辨率输入下的重建保真度与跨场景泛化能力。
SG-LoRA：语义引导的低秩适配参数生成
SG-LoRA: Semantic-guided LoRA Parameters Generation
对视觉研究者而言，这是一种用任务文本描述在共享嵌入空间中检索并生成 LoRA 权重的免训练方案，可直接用于为未见过的下游视觉任务（如新风格、新域识别）实时构建个性化适配器，避免逐任务微调；其语义到 LoRA 的生成管线也可迁移到扩散模型、VLM 等大模型的高效定制。
SAMosaic3D：面向实时三维分割任意物体的模块化场景组装
SAMosaic3D: Modular Scene Assembly for Real-Time 3D Segment Anything
将 SAM 的 2D 掩码视为可学习的「马赛克瓦片」，通过可微的片段到实例自适应组装和实例到场景在线合并，解决 2D 提升到 3D 时的空间碎片化与身份漂移问题，为在线 3D 实例分割提供了可复用的模块化组装框架。
RealVLG-R1：面向机器人感知与操作的大规模真实世界视觉-语言定位基准
RealVLG-R1: A Large-Scale Real-World Visual-Language Grounding Benchmark for Robotic Perception and Manipulation
该工作提供了带边界框、分割掩码、抓取位姿与接触点统一标注的大规模真实场景视觉-语言定位数据集，并用强化微调让 VLM 在统一输出头下同时预测定位与抓取参数，可作为语言驱动操作与开放词表定位的联合评测基准。
ReMatch：通过匹配提升多模态检索中的表征
ReMatch: Boosting Representation through Matching for Multimodal Retrieval
将MLLM的生成能力用于多模态检索，通过生成式匹配阶段提供实例级判别监督，增强对比学习在困难负样本上的梯度；同时使用多个可学习token生成细粒度正交嵌入，为视觉-语言检索提供可复用的训练配方。
RAG-TP：基于检索增强生成的车辆轨迹预测通用框架
RAG-TP: A General Framework for Vehicle Trajectory Prediction via Retrieval-Augmented Generation
把轨迹预测从依赖在线感知先验改为从结构化知识库检索历史经验，并用检索驱动的 MoE 加交叉注意力做动态融合；对做自动驾驶预测、以及想把 RAG 思路引入视觉时序任务的人，这是一个可复用的「离线知识库 + 推理时检索」范式。
PromptStereo：通过结构与运动提示词实现零样本立体匹配
PromptStereo: Zero-Shot Stereo Matching via Structure and Motion Prompts
将单目深度基础模型的解码器改造为提示词引导的迭代细化模块（PRU），把单目结构线索与立体运动线索作为提示词注入潜变量，为立体匹配的迭代阶段提供可复用的零样本泛化增强手段。
PE3R：感知高效的三维重建
PE3R: Perception-Efficient 3D Reconstruction
把 2D 语义先验与多视图几何融合进一个免调优的前馈管线，可直接用于从无位姿图像做开放词表三维语义重建，替代逐场景优化，并可作为三维场景理解中语义与几何联合评测的基线。
OpenT2M：基于开源、大规模、高质量数据的无冗余运动生成
OpenT2M: No-frill Motion Generation with Open-source, Large-scale, High-quality Data
2D-PRQ 按人体生物学部位划分并捕捉时空依赖的运动分词器，可复用于人体动作表示与长时序运动合成；OpenT2M 的物理可行性校验与多粒度过滤流程，为构建高质量人体运动数据提供可借鉴的自动化管线。
面向文本到动作生成的下一尺度自回归模型
Next-Scale Autoregressive Models for Text-to-Motion Generation
把「下一 token 预测」换成「下一尺度预测」的由粗到细自回归框架，可直接迁移到视频/长时序视觉生成中，用跨尺度层级精修与尺度内双向重预测缓解长程结构建模与数据稀缺问题。
NAF：基于邻域注意力滤波的零样本特征上采样
NAF: Zero-Shot Feature Upsampling via Neighborhood Attention Filtering
NAF 提供了一种与具体 VFM 无关的零样本特征上采样器，可直接插在任意视觉基础模型（如 DINOv2、SAM）之后，为分割、深度估计等像素级任务恢复高分辨率特征，无需针对每个 VFM 重新训练；其跨尺度邻域注意力 + RoPE 的权重预测方式也可迁移到其他需要内容自适应滤波的环节。
MotionMaster：可泛化的文本驱动运动生成与编辑
MotionMaster: Generalizable Text-Driven Motion Generation and Editing
把预训练多模态大语言模型微调成文本到人体运动（3D 骨骼序列）的生成与编辑模型，并用 FSQ 分词器把运动离散成 token 与语言共享嵌入空间；对做 3D 人体动作/动画的研究者，这是一条可直接复用的「LLM 当运动先验 + 离散运动 token」路线。
超越所见：通过语义-像素熵权衡实现零样本泛化的统一图像融合框架
More Than Meets the Eye: A Unified Image Fusion Framework via Semantic-Pixel Entropy Trade-off for Zero-Shot Generalization
提出基于自由能原理的语义-像素熵权衡范式与频率感知特征解耦机制，可复用于多模态图像融合、零样本泛化到未见融合任务，并为无监督融合提供统一优化目标。
MD2E：面向单目度量深度估计的深度到边缘线索建模
MD2E: Modeling Depth-to-Edge Cues for Monocular Metric Depth Estimation
用预测边缘图的傅里叶频谱分位数作为度量尺度的代理，可在无相机内参时把相对深度校准成度量深度；边缘预测同时作为边界正则项，这一「深度→边缘」线索建模思路可迁移到其他需要尺度恢复的单目几何任务。
LoD-Loc v3：利用实例轮廓对齐实现密集城市中的泛化空中定位
LoD-Loc v3: Generalized Aerial Localization in Dense Cities using Instance Silhouette Alignment
将语义建筑轮廓对齐升级为实例轮廓对齐，并配套生成大规模实例分割合成数据集，为密集城市场景下的跨场景视觉定位提供了可复用的数据与对齐范式。
LiteSense：以 RGB 提升轻量 ToF 实现高分辨率度量深度估计
LiteSense: Lifting Lightweight ToF with RGB for High-Resolution Metric Depth Estimation
用 ToF 的 zone-wise 直方图（CNH）经交叉注意力注入 U-Net 特征，为轻量 RGB-D 网络提供显式度量先验，可作为低成本传感器下高分辨率度量深度估计的可复用融合范式。
Lite Any Stereo：高效零样本立体匹配
Lite Any Stereo: Efficient Zero-Shot Stereo Matching
提供了一套可复用的轻量骨干网络与混合代价聚合设计，并用百万级数据的三阶段训练策略弥合仿真到真实的差距，使超轻量立体匹配模型具备零样本泛化能力，可直接用于实时深度估计与部署受限场景。
LiDAS：面向夜间感知的光照驱动动态主动传感
LiDAS: Lighting-driven Dynamic Active Sensing for Nighttime Perception
把车灯当作可主动控制的视觉执行器，用下游感知损失驱动光照场的预测，使白天训练的模型零样本迁移到夜间；这一「感知-照明闭环」思路可复用到其他主动传感（如可控曝光、主动红外补光）与感知-控制联合优化问题中。
语言驱动的细粒度检索
Language-driven Fine-grained Retrieval
用 LLM 把类别名扩写成属性描述、再用冻结 VLM 对齐并聚类成数据集级属性词表，从而把 one-hot 标签换成语言原型监督——这套「语言原型监督」流程可直接迁移到细粒度分类、开放词表检索、组合零样本等需要跨类别细节可比性的视觉任务。
LaS-Comp：基于隐空间-空间一致性的零样本三维补全
LaS-Comp: Zero-shot 3D Completion with Latent-Spatial Consistency
把 3D 基础模型的生成先验当作免训练的补全器，用「显式替换 + 隐式精修」两阶段保证观测区域保真与边界无缝，可直接迁移到点云/隐式场补全、稀疏观测重建等任务。
面向零样本运动跟踪的人形生成式预训练
Humanoid Generative Pre-Training for Zero-Shot Motion Tracking
用因果注意力 Transformer 在十亿级动作语料上做生成式预训练，替代浅层 MLP 跟踪器，为视觉驱动的全身运动跟踪与零样本泛化提供可扩展的骨干与数据规模化范式。
GraspGen-X：跨本体的基于扩散的六自由度抓取
GraspGen-X: Cross-Embodiment 6-DOF Diffusion-based Grasping
把夹爪几何编码成扫掠体（swept-volume）条件注入扩散式 6-DOF 抓取生成模型，使同一模型可零样本迁移到未见过的夹爪形态；这套「以本体几何为条件」的思路可直接复用到视觉引导的抓取/操作策略中，也提供了 3.95 亿抓取规模的数据构造范式。
Goal Force：教视频模型完成物理条件化的目标
Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals
把力向量与中间动力学作为条件信号注入视频生成模型，使其充当隐式神经物理模拟器；这一条件化范式可迁移到需要物理一致性的视频预测与机器人规划任务中。
面向鲁棒癌症风险估计的因子化上下文聚合：软重排序检索与分层锚框
Factorized Context Aggregation for Robust Cancer Risk Estimation via Soft Re-Ranked Retrieval and Hierarchical Anchors
提出以组织病理学为锚、其他模态仅用于训练的解耦框架，结合软重排序检索与分层锚框，在模态缺失下保持鲁棒性；其检索与分层锚框机制可迁移至其他多模态医学影像任务。
FE2E：从编辑器到密集几何估计器
FE2E: From Editor to Dense Geometry Estimator
将预训练的图像编辑模型（DiT 架构）微调为密集几何预测器，利用其固有结构先验，并通过一致速度训练目标和对数量化解决精度冲突，为单目深度/法线估计提供新范式。
Event6D：基于事件相机的新物体 6D 位姿跟踪
Event6D: Event-based Novel Object 6D Pose Tracking
用事件流在深度帧之间重建稠密强度与深度，为高速运动下的 6D 位姿跟踪提供几何与光度线索；其「以最近深度为条件、双重建事件」的思路可迁移到事件相机驱动的 SLAM、抓取位姿跟踪与高速场景重建。
深度假设引导的迭代细化用于事件-图像单目深度估计
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
把连续深度回归转成基于离散深度假设体积的约束搜索，并用轻量多尺度相关代价体积做全局到局部的迭代残差细化，这一思路可直接迁移到其他病态回归任务（如光流、法向、表面重建）以及事件-图像融合的稠密预测中。
面向稀疏直接飞行时间传感器的稠密度量深度补全
Dense Metric Depth Completion from Sparse Direct Time-of-Flight Sensors
提出深度引导的双分支ViT编码器与掩码联合注意力，防止稀疏深度token被图像特征覆盖，为稀疏深度补全提供可复用的融合机制；同时开源dToF仿真管线，支持在合成数据上训练后零样本迁移到真实设备。
DeAR：通过分解注意力头角色实现细粒度 VLM 适配
DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles
把 VLM 适配的粒度从「层」下沉到「注意力头」，用 Concept Entropy 给每个头打上属性/泛化/混合的角色标签，再用 Role-Based Attention Mask 隔离任务知识与泛化能力——做提示词学习或参数高效微调时，可直接复用这套头级角色划分与掩码控制信息流的思路，缓解适配与零样本泛化的权衡。
CLEP：对比语言-姿态预训练
CLEP: Contrastive Language-Pose Pretraining
提出层次化姿态编码器与跨尺度注意力融合机制，将关节、肢体、身体多层级特征动态整合，可用于任何需要细粒度人体姿态-语言对齐的视觉-语言任务，如文本驱动的姿态生成与编辑。
任意分辨率任意几何：从多视图到多图像块
Any Resolution Any Geometry: From Multi-View To Multi-Patch
把高分辨率单张图切成多个图像块、用跨块注意力在共享骨干里做长程几何推理，是解决高分辨率几何估计中「局部细节 vs 全局一致」矛盾的通用手段；GridMix 训练期随机网格采样也可直接迁移到其他分块推理任务以提升块间一致性。
面向扩散模型属性操纵的一体化滑杆
All-in-One Slider for Attribute Manipulation in Diffusion Models
把文本嵌入空间分解为稀疏语义方向，用一个轻量模块实现多属性连续滑杆控制，并可零样本组合未见属性；该思路可直接迁移到基于扩散模型的图像编辑与个性化生成中，替代逐属性训练滑杆的做法。
AffordGen：借助可供性对应为可泛化物体操作生成多样化示范
AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Affordance Correspondence
利用视觉基础模型在大规模三维网格上建立关键点语义对应，从而把已有操作轨迹迁移到几何形状不同的新物体上，为视觉研究者提供了一条用三维生成模型扩充机器人操作数据、并训练闭环视觉运动策略的可复用路径。