Tag · 14 篇
上下文学习
UnityVideo：面向世界感知视频生成的统一多模态多任务学习
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
将分割掩码、人体骨架、DensePose、光流、深度图等多种异构模态作为统一条件输入视频扩散模型，并用动态加噪统一不同训练范式、用模态切换器+上下文学习器实现模块化参数共享，为视觉研究者提供了一套可复用的多模态条件注入与跨模态泛化方案。
用视频思考：视频生成作为有前景的多模态推理范式
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
把视频生成模型（如 Sora-2）当作统一的多模态推理器，用视频帧作为推理媒介，为视觉研究者提供了一个可复用的思路：将生成式视频模型直接用于视觉问答、数学推理等任务，并可用自一致性与上下文学习提升其推理表现。
检索反事实样本改进视觉上下文学习
Retrieving Counterfactuals Improves Visual In-Context Learning
把「示例选择」从被动相似度检索改成属性引导的组合图像检索，主动构造反事实示例对，可直接用于任何基于 ICL 的 VLM 少样本适配流程，尤其是小模型与信息稀缺场景。
重新思考基于视觉语言模型的机器人操作的中间表示
Rethinking Intermediate Representation for VLM-based Robot Manipulation
把中间表示拆成「操作词表 + 语法」的思路，以及用上下文学习做开放词表部件级分割（杯柄、壶口）的范式，可直接迁移到需要细粒度部件定位的具身操作与视觉定位任务中。
元学习上下文实现免训练跨被试大脑解码
Meta-Learning In-Context Enables Training-Free Cross Subject Brain Decoding
对做视觉表征研究的人，这篇提供了一个「用少量图像-脑响应样例做上下文学习、无需微调即可逆推个体编码器」的范式，可作为评估视觉骨干网络与大脑表征对齐程度的探针，也提示把元学习/上下文条件化用于跨域个体差异建模。
Mamba 的上下文学习：面向多任务点云理解的结构感知域泛化
Mamba Learns in Context: Structure-Aware Domain Generalization for Multi-Task Point Cloud Understanding
用基于质心拓扑与测地曲率连续性构造的变换不变序列化替代坐标驱动的序列化，可缓解 Mamba 类点云模型对视角变化与缺失区域的敏感性；其谱域图对齐在测试时无需更新参数即可把目标特征拉向源原型，是一种可直接复用的测试时特征迁移手段。
爱屋及乌：重新思考标签在视觉上下文学习提示词检索中的作用
Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning
为视觉上下文学习中的提示词检索引入标签一致性约束，并设计图像-标签联合表示与查询自适应混合专家路由，可直接用于分割、检测等下游任务的提示词选择。
以图导图：基于整流上下文示例引导的一致视频非模态补全
Image Guides Images: Consistent Video Amodal Completion with Rectified In-Context Exemplar Guidance
把预训练图像修复模型直接用于视频非模态补全，通过调制 DiT 全局注意力中示例与目标帧的相对权重来提升跨帧一致性，并用双帧校准的示例修正解决冷启动；这套免训练、示例引导的注意力整流思路可迁移到其他需要跨帧一致性的视频生成/编辑任务。
用于图像复原的混合智能体
Hybrid Agents for Image Restoration
将多模态大语言模型与轻量级LLM结合为快慢双智能体，通过指令微调与上下文学习实现图像复原任务的自动工具调用与混合退化去除，为构建可交互、自适应的复原系统提供了可复用的智能体框架。
HiFICL：面向多模态任务的高保真上下文学习
HiFICL: High-Fidelity In-Context Learning for Multimodal Tasks
把 ICL 中示例的影响精确分解为注意力输出与上下文值的动态混合，并用可学习的虚拟键值对加低秩分解来替代「shift vector」近似，这给视觉-语言模型提供了一种免示例、低开销的任务适配手段，可直接嵌入 LMM 的注意力层做端到端训练。
G$^2$VLM：统一三维重建与空间推理的几何基础视觉语言模型
G$^2$VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning
把前馈三维重建模型学到的几何特征直接接入 VLM 的表征空间，用交错推理与上下文学习让语言模型「读懂」几何特征；做空间理解或多模态三维任务的可以借鉴这种统一训练范式，用易得的多视图/视频数据替代难采集的三维标注。
EffectMaker：统一推理与生成实现定制化视觉效果创作
EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation
用多模态大语言模型做高层特效语义推理、扩散 Transformer 通过上下文学习从参考视频提取细粒度视觉线索，形成语义-视觉双路引导，实现无需逐特效微调的参考驱动视频特效合成，可直接迁移到风格化视频编辑与参考引导的可控生成。
基于形变的上下文学习用于点云理解
Deformation-based In-Context Learning for Point Cloud Understanding
用任务提示引导的形变场替代掩码点建模来预测目标点云，为点云 ICL 提供显式几何先验并消除训练-推理目标不一致，可直接迁移到补全、去噪、配准等点云处理任务。
DeepAlign：通过模态特定对齐缓解模态冲突
DeepAlign: Mitigating Modality Conflict through Modality-Specific Alignment
针对视觉-语言表征错位与模态细节流失，提出表征干预加结构诱导知识蒸馏的对齐框架，可直接用于改进任意 MLLM 的视觉编码器到语言模型的投影对齐环节，并解锁交错图文序列上的多模态上下文学习。