Tag · 13 篇
零样本迁移
VITAL：以视觉编码器为中心的视觉质量评估多模态大模型预训练
VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment
以视觉编码器为中心的生成式预训练流程，配合机器执行的标注-审查范式构建大规模视觉-语言对，为视觉质量评估等低层感知任务提供可零样本迁移的多模态大模型底座；其解码器仅需极少预热数据即可复现全量训练性能，为视觉-语言模型的高效扩展提供可复用方案。
TherA：热感知视觉语言提示用于可控 RGB 到热红外翻译
TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation
TherA 将视觉语言模型（VLM）作为条件编码器，把用户提示的场景-物体条件对映射为热感知嵌入，再驱动潜扩散模型实现可控的 RGB 到热红外翻译；这种“VLM 编码条件 + 扩散解码”的范式可复用到其他需要物理属性感知的跨模态图像翻译任务（如 RGB 到近红外、深度、事件相机）。
抑制掩码图像建模表征中的非语义噪声
Suppressing Non-Semantic Noise in Masked Image Modeling Representations
对做 MIM 预训练的人，这篇给出了一个免训练、可插拔的线性头，把图像块表征里与语义无关的分量投影掉，从而直接提升下游零样本性能；其基于 PCA 的语义不变性打分也可作为评估表征语义纯度的通用诊断工具。
PyraTok：面向视频理解与生成的语言对齐金字塔分词器
PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation
PyraTok 把视频 VAE 的编码器特征在多个深度上用共享大码本做二值量化，并联合多尺度文本引导量化与自回归目标训练，可直接替换现有视频生成/理解管线中的离散分词器，提升跨模态对齐与零样本下游迁移。
以大规模多模态对应学习推进音视频感知前沿
Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning
把视频-文本对比学习扩展到音视频-文本三模态联合嵌入，并提供用大模型为亿级音视频对合成高质量描述的数据引擎；做视频理解或多模态检索时，可直接复用其十组成对对比目标与跨模态/描述类型配对的扩展策略来提升零样本迁移。
探测并桥接视觉基础模型中可供性推理的几何-交互线索
Probing and Bridging Geometry-Interaction Cues for Affordance Reasoning in Vision Foundation Models
对做视觉研究的人，这篇论文提供了一种无需训练、零样本的可供性估计思路：把 DINO 的部件级几何原型与 Flux 的动词条件空间注意力图直接融合，可作为视觉基础模型内部表征探测与多模态先验组合的通用手段。
无需硬负样本：以概念为中心的学习在不损害对比模型零样本能力的前提下实现组合性
No Hard Negatives Required: Concept Centric Learning Leads to Compositionality without Degrading Zero-shot Capabilities of Contrastive Models
用无参数的跨模态注意力池化替代文本/图像编码器的全局池化，从图像中抽取概念级视觉嵌入，并与短概念化文本片段对齐；这套改动可直接插到 CLIP 类双塔模型上，在不增加推理成本的前提下提升组合性理解，同时不牺牲零样本与检索性能。
面向事件相机运动分割的运动边界归属
Moving Border Ownership for Event-based Motion Segmentation
把运动分割重新表述为「运动边界归属」预测：用有符号距离场编码边界朝向与前景归属，并以 Blender 合成事件提供完美监督，使模型在真实事件数据集上零样本迁移；这一「边界归属场 + 合成监督」思路可迁移到事件相机上的光流、遮挡推理与目标分割。
超越简单相加：面向恶劣全景场景的全景-语言模型
More than the Sum: Panorama-Language Models for Adverse Omni-Scenes
提出即插即用的全景稀疏注意力模块，让已有的针孔式 VLM 无需重训练即可处理等距柱状全景图，为 360° 视觉语言推理提供了可复用的适配手段；PanoVQA 数据集则提供了遮挡与事故等恶劣全景场景下的评测基准。
从条目化文本监督中学习完整且可解释的视觉表征
Learning complete and explainable visual representations from itemized text supervision
针对单图多条目文本（如医学影像的多处独立发现）的监督，用交叉注意力生成条目条件化的视觉嵌入，并设计条目独立性与覆盖完整性目标，可复用于非物体中心领域的视觉-语言预训练与细粒度定位式解释。
IPR-1：交互式物理推理器
IPR-1: Interactive Physical Reasoner
用世界模型 rollout 作为奖励信号来强化 VLM 策略，并用物理中心动作码（PhysCode）对齐语义意图与动力学，为视觉研究者提供了一种在交互环境中把预测模型与推理模型耦合的可复用范式。
HandVQA：诊断并改进视觉语言模型中的手部细粒度空间推理
HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
对手部细粒度空间推理感兴趣的视觉研究者，可以把 HandVQA 当作诊断工具：用 3D 手部数据集自动生成关节角度、距离、相对位置的多选题，检验 VLM 的几何理解；同时验证了 LoRA 微调后学到的 3D 空间知识能零样本迁移到手势识别与手物交互任务，为「用合成 VQA 注入几何先验」提供了可复用范式。
CASPA：面向视觉语言模型模态无关适配的图结构概念锚点
CASPA: Graph-Structured Concept Anchors for Modality-Agnostic Adaptation in Vision-Language Models
把适配从「每类一组提示词参数」改为「共享文本/图像锚点上的软关联分布」，在冻结 CLIP 骨干的前提下实现参数共享与跨类语义复用；做 VLM 下游适配（少样本、跨数据迁移）时可直接替换 class-specific prompt 的参数化方式，并用 S-XCR 约束图文推理空间一致。