Tag · 77 篇
强化学习
VisionDirector:视觉语言引导的闭环优化用于生成式图像合成
VisionDirector: Vision-Language Guided Closed-Loop Refinement for Generative Image Synthesis
提出一种无需训练的视觉语言监督器,通过结构化目标提取、动态决策、微网格采样与语义验证回滚,实现长指令下的闭环图像生成与编辑;并利用Group Relative Policy Optimization微调规划器,为可控生成提供可复用的规划与验证框架。
VideoSSR:视频自监督强化学习
VideoSSR: Video Self-Supervised Reinforcement Learning
提出三种视频自监督前置任务(异常定位、物体计数、时序拼图)来自动生成可验证的训练数据,为视频多模态大模型提供无需人工标注的强化学习训练信号,可直接用于提升视频时序定位与复杂推理能力。
视频即答案:用联合 GRPO 预测并生成下一个视频事件
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO
提出 Joint-GRPO 强化学习框架,将视觉语言模型与视频扩散模型联合优化,使 VLM 生成利于可视化的描述,VDM 生成与描述和视觉上下文一致的视频,为多模态推理与生成一体化提供可复用范式。
ViRC:通过推理分块增强视觉交错数学思维链
ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking
提出 Reason Chunking 机制,将多模态数学思维链结构化为关键推理单元(CRU),并在单元间动态调用视觉工具获取图像信息,为视觉语言模型在需要反复查看图像的推理任务中提供了可复用的分块推理与渐进训练范式。
UniGen-1.5:通过强化学习中的奖励统一增强图像生成与编辑
UniGen-1.5: Enhancing Image Generation and Editing through Reward Unification in RL
用共享奖励模型把图像生成与编辑的 RL 训练统一起来,并先做轻量编辑指令对齐再上 RL,这套「先对齐指令、再统一奖励」的流程可直接迁移到其他统一生成/编辑模型的训练中。
导师-学生强化学习:面向鲁棒深度伪造检测的动态课程
Tutor-Student Reinforcement Learning: A Dynamic Curriculum for Robust Deepfake Detection
将深度伪造检测的训练过程建模为马尔可夫决策过程,用PPO智能体根据样本的视觉特征和历史学习动态(EMA损失、遗忘次数)动态分配损失权重,这种基于强化学习的动态课程策略可迁移到其他需要鲁棒泛化的视觉任务中。
基于执行反馈强化学习训练高层调度器用于长程GUI自动化
Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
提出了一种基于执行反馈强化学习训练高层调度器(Coordinator和State Tracker)的方法,可即插即用地增强任意低层执行器在长程GUI自动化任务中的规划与状态管理能力,为视觉语言模型在复杂交互任务中的多智能体协同提供了可复用的训练范式。
以草稿思考:面向高效长视频理解的推测式时序推理
Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding
把「草稿模型快速提议关键帧 + 目标模型验证并迭代精化」的推测式双模型协作引入 thinking-with-frames 流程,可直接用于降低长视频 MLLM 推理中冗余多模态上下文的开销,其帧级证据标注与 RL 训练范式也可迁移到其他需要稀疏帧采样的视频推理任务。
用视频思考:面向长视频推理的多模态工具增强强化学习
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
把「按需采样视频帧」做成可调用的视觉工具箱,并用 DGRPO 平衡多任务 RL 中的难度差异,为长视频 MLLM 推理提供了一条可复用的 agentic 训练范式;做视频问答或时序定位时可直接借鉴其多任务数据构造与 RL 策略。
图像即奖励:面向图像生成的对抗奖励强化学习
The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation
用参考图像和视觉基础模型(如 DINO)提供密集视觉奖励,替代标量偏好奖励,可缓解奖励攻击并提升生成质量;该对抗奖励框架可复用于扩散模型或流匹配模型的强化学习微调。
Talk2Move:基于强化学习的场景中文本指令物体级几何变换
Talk2Move: Reinforcement Learning for Text-Instructed Object-Level Geometric Transformation in Scenes
将强化学习(GRPO)与扩散模型结合,通过设计物体级空间奖励(位移、旋转、缩放)实现文本指令驱动的物体几何变换,为可控图像编辑提供了一种无需配对监督的优化范式。
SyncDreamer:超越说话头部的可控且富有表现力的虚拟人生成
SyncDreamer: Controllable and Expressive Avatar Generation Beyond the Talking Head
用 Diffusion Transformer 直接从单图+语音+文本提示词生成全身说话数字人,其视觉适配器与注意力定位损失可复用于任何需要身份保持的条件生成任务;音频动力学编码器把节奏/能量等连续语音特征注入扩散过程,为语音驱动的细粒度运动控制提供了可借鉴的条件注入方式。
SpatialTree:空间智能在多模态大模型中如何分支
SpatialTree: How Spatial Intelligence Branches Out in MLLMs
该论文提出的空间能力层级分类和基准测试,为评估多模态大模型的空间智能提供了系统化框架;其发现的负迁移现象和auto-think强化学习策略,对设计视觉-语言模型的空间推理训练方法有直接启发。
SpaceTools:通过双重交互式强化学习实现工具增强的空间推理
SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
提出双阶段交互式强化学习框架,让视觉语言模型通过探索和反馈学习协调多种视觉工具(深度估计、分割、姿态估计),为视觉任务中的工具增强推理提供了可复用的训练范式。
SenseSearch:通过强化学习赋能视觉语言模型的高分辨率智能体搜索推理
SenseSearch: Empowering Vision-Language Models with High-Resolution Agentic Search-Reasoning via Reinforcement Learning
提出通过强化学习让 VLM 自适应协调图像搜索、文本搜索和图像裁剪工具,解决高分辨率细粒度视觉理解问题;其 BN-GSPO 算法和 HR-MMSearch 基准可直接用于多模态智能体训练与评测。
少选多推:以证据纯度优先的视频推理
Select Less, Reason More: Prioritizing Evidence Purity for Video Reasoning
提出证据感知强化学习框架,通过动态选择关键帧并在其周围局部重采样,为视频LLM提供高纯度视觉证据,可复用于需要精细时序细节的视频理解任务。
SARL-STG:用于精炼多模态大语言模型时空视频定位的空间感知强化学习框架
SARL-STG: A Spatially Aware Reinforcement Learning Framework for Refining MLLMs in Spatio-Temporal Video Grounding
把开放词表检测器的空间定位质量作为强化学习奖励信号,反向驱动 MLLM 的时序推理,为视觉语言模型在视频定位任务中提供了一种可复用的「空间反馈时序」训练范式。
SAMTok:用两个词表示任意掩码
SAMTok: Representing Any Mask with Two Words
把任意区域掩码离散化为两个 token,使基础 MLLM 无需改架构、无需专用分割解码器即可用标准下一词预测和 RL 获得像素级理解与生成能力;做区域级 VLM、grounding 或交互式分割的工作可直接复用该掩码分词方案与文本答案匹配奖励。
RoboAgent:链式组合基础能力实现具身任务规划
RoboAgent: Chaining Basic Capabilities for Embodied Task Planning
把长程具身规划拆解为调度器加多个子能力(各自维护独立上下文)的单一 VLM 调用链,并用仿真器内部信息为每个子能力构造监督,这一「能力链式调用 + 多阶段训练」范式可直接迁移到视觉导航、视觉操作等需要多轮视觉观测推理的任务。
重新审视以视觉为中心的推理泛化中长思维链的必要性
Revisiting the Necessity of Lengthy Chain-of-Thought in Vision-centric Reasoning Generalization
对做视觉推理 SFT 数据构造的人有直接指导:不必堆长 CoT 或图像操作式 CoT,只保留关键视觉定位步骤的极简 CoT 反而在不同难度(网格尺寸)上泛化最好,可作为构建可泛化视觉推理训练数据的默认策略。
RetouchIQ:基于通用奖励的MLLM智能体用于指令式图像修饰
RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward
提出用强化学习微调的多模态大语言模型作为通用奖励模型,为基于指令的图像编辑提供可验证的奖励信号,可复用于其他需要主观评价的生成任务(如风格化、美学优化)。
重新审视2D-3D配准:一种用于高价值区域选择与表征一致性对齐的新网络
Rethinking 2D-3D Registration: A Novel Network for High-Value Zone Selection and Representation Consistency Alignment
用强化学习解决高价值匹配区域选择不可微的问题,并用三阶段(理解-协调-加速)做图像纹理与点云结构间的区域表征对齐,可直接迁移到跨模态配准与稠密对应任务中抑制非重叠区域误匹配。
面向对比多视图聚类的可靠聚类数估计
Reliable Clustering Number Estimation for Contrastive Multi-View Clustering
把「聚类数 k 未知」当作可学习变量,用簇内/簇间距离构造强化学习奖励来自动推断 k,并用成对表征差异自适应加权视图以缓解对比学习中的表征退化——这两点可直接迁移到视觉表征的无监督聚类与多视图融合流程中。
强化结构化思维链以提升视频理解
Reinforcing Structured Chain-of-Thought for Video Understanding
提出无需 SFT 的单阶段强化学习框架 SDRL,用「总结-思考-回答」结构化思维链和两个自监督机制(CVK 约束视觉事实一致性、DVR 按组准确率调节推理多样性)来抑制视频推理中的思维漂移;做视频 MLLM 推理增强的工作可直接复用该 GRPO 目标改造思路。
强化学习以学习,选举以推理:视频推理的双范式
Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning
提出一种训练时用强化学习生成结构化证据、推理时用证据加权选举的范式,可迁移到视频问答、时序定位等需要证据对齐的视觉语言任务,提升推理可靠性与可解释性。
从单目视频中恢复物理合理的人-物交互
Recovering Physically Plausible Human-Object Interactions from Monocular Videos
把运动学估计的单目人-物交互重建结果送入物理仿真器,用强化学习策略做后处理精修,可复用于任何需要消除穿模与物体漂浮的4D重建管线;其双自更新自适应采样机制也适用于从噪声标注中挑选可靠帧做训练。
基于推理驱动的图像级监督异常检测与定位
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
利用MLLM自回归推理过程中的注意力响应生成像素级异常图,仅需图像级监督,为视觉异常检测提供无需密集标注的新范式。
阅读还是推理?面向文档OCR的格式解耦强化学习
Reading or Reasoning? Format Decoupled Reinforcement Learning for Document OCR
针对文档OCR中格式敏感文本(公式、表格)输出熵高的问题,提出基于熵的数据过滤和格式解耦奖励的强化学习微调方法,可复用于其他需要结构化输出的视觉语言模型任务。
ReAG:面向知识型视觉问答的推理增强生成
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
对做视觉语言模型的人,这篇给出了一个可复用的多模态 RAG 流程:粗粒度+细粒度两阶段检索、critic 模型过滤噪声段落、再用强化学习让模型对检索内容做推理,可直接迁移到需要外部知识的 VQA 或 captioning 场景。
RL-ScanIQA:强化学习扫描路径用于盲360度图像质量评估
RL-ScanIQA: Reinforcement-Learned Scanpaths for Blind 360deg Image Quality Assessment
将扫描路径生成与质量评估统一为端到端强化学习框架,利用PPO训练策略网络接收质量反馈,为视觉任务中模拟人类观看行为提供了可复用的范式。
R3-PCQA:面向无参考三维点云质量评估的射线重投影强化方法
R3-PCQA: Ray-Reprojection-Reinforcement for No-Reference 3D Point Cloud Quality Assessment
将点云质量评估建模为多视角射线重投影加强化学习子云选择,可复用于任何需要从 2D 投影聚合 3D 结构感知的任务(如点云分割、配准中的视图聚合),其全局视图注意力聚合机制也可迁移到多视图特征融合。
R-C2:循环一致性强化学习提升多模态推理
R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning
用跨模态循环一致性构造无标签的密集奖励,可直接迁移到 VLM 的视觉问答与多模态推理训练中,替代投票式自一致性来抑制模态偏置。
R-4B:通过双模式退火与强化学习激发多模态大模型中的通用自动思考
R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning
为视觉语言模型引入「按输入复杂度自动决定是否展开逐步推理」的双模式机制,配合双 rollout 强化学习策略,可直接迁移到需要兼顾精度与推理成本的 VQA、图文推理等视觉任务部署中。
PromptEnhancer:通过细粒度奖励优化重写器以提升文本到图像生成
PromptEnhancer: Taming Your Rewriter for Text-to-Image Generation via Fine-Grained Reward
提出可插拔的提示词重写框架,通过监督微调与基于细粒度奖励模型的强化学习优化重写器,可提升任意预训练T2I模型对复杂提示词的遵循能力,为改善文生图对齐提供通用后处理方案。
PSR:利用成对主体一致性奖励扩展多主体个性化图像生成
PSR: Scaling Multi-Subject Personalized Image Generation with Pairwise Subject-Consistency Rewards
提出可扩展的多主体数据生成管线与成对主体一致性奖励,结合强化学习后训练,可直接用于提升现有个性化生成模型在多主体场景下的主体保真度与文本可控性。
OralGPT-Plus:通过强化学习学会使用视觉工具进行全景 X 光分析
OralGPT-Plus: Learning to Use Visual Tools via Reinforcement Learning for Panoramic X-ray Analysis
把「调用视觉工具做局部复查 + 对侧对称比较」建模成可学习的多步推理策略,并用 rubric 奖励与诊断驱动奖励稳定长程强化学习,这套 agentic 交互范式可迁移到任何需要细粒度空间核查的视觉语言模型任务(如病灶定位、遥感判读)。
OpenMMReasoner:以开放通用方案推动多模态推理前沿
OpenMMReasoner: Pushing the Frontiers in Multimodal Reasoning with an Open and General Recipe
提供了一套透明可复现的多模态推理训练流程(SFT+RL),视觉研究者可直接复用其数据构建与训练设计来提升VLM的推理能力,或作为基线进行对比。
OmniVTG:面向开放世界视频时序定位的大规模数据集与训练范式
OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding
提出自校正思维链训练范式,让多模态大模型先预测再反思修正,可迁移到其他需要精确定位的视觉语言任务;同时发布大规模开放世界视频时序定位数据集,为后续研究提供基准。
OVOD-Agent:面向主动视觉推理与自演化检测的马尔可夫-班迪特框架
OVOD-Agent: A Markov-Bandit Framework for Proactive Visual Reasoning and Self-Evolving Detection
将开放词表检测的文本匹配过程重构为基于弱马尔可夫决策过程的智能体探索,利用Bandit模块在有限监督下生成探索信号,并通过自监督奖励模型闭环优化检测策略,为OVOD提供可复用的主动推理框架。
OS-Oracle:跨平台 GUI 批评模型的综合框架
OS-Oracle: A Comprehensive Framework for Cross-Platform GUI Critic Models
为视觉语言模型在 GUI 环境中的动作评估提供了可扩展的数据合成流程和两阶段训练范式(SFT + CP-GRPO),可直接用于提升多模态智能体的长程任务可靠性。
MultiCrafter:通过解耦注意力与身份感知偏好对齐实现高保真多主体生成
MultiCrafter: High-Fidelity Multi-Subject Generation via Disentangled Attention and Identity-Aware Preference Alignment
提出两阶段解耦训练框架:预训练阶段用显式位置监督解决注意力渗漏,后训练阶段用基于匈牙利匹配的在线强化学习做身份保持的偏好优化,可直接用于多主体个性化生成任务。
MoE-GRPO:在视觉语言模型中通过强化学习优化混合专家
MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models
把 MoE 视觉语言模型的专家路由从确定性 top-K 改成用 GRPO 学习的随机策略,并加入模态感知的路由引导;做多模态大模型推理或训练的人可以直接复用这套路由优化思路来缓解专家过拟合、提升专家利用率。
Mesh-Pro:面向艺术家风格四边形网格生成的异步优势引导排序偏好优化
Mesh-Pro: Asynchronous Advantage-guided Ranking Preference Optimization for Artist-style Quadrilateral Mesh Generation
提出异步在线强化学习框架和 ARPO 算法,可直接用于提升 3D 网格生成的后训练效率与泛化能力;对角感知的混合三角-四边形 tokenization 和基于射线的奖励为几何完整性提供了新思路。
掩码教师与强化学生:面向视觉语言模型的蒸馏方法
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
提出一种掩码渐进式强化学习蒸馏框架,通过逐步恢复教师模型容量和离线RL奖励机制,解决大模型到小模型蒸馏中的不稳定性问题,为视觉语言模型的高效压缩与部署提供可复用技术路径。
机器心理意象:以潜视觉 token 增强多模态推理
Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
把 VLM 的隐藏状态直接当作「潜视觉 token」续写到解码轨迹里,替代显式生成图像来做视觉想象,为多模态推理提供了一条不依赖图像生成器的中间表示路径;其「先蒸馏图像嵌入、再纯文本监督、最后 RL 微调」的三段式训练流程可直接迁移到其他需要视觉中间步骤的 VLM 任务。
MSJoE:联合演化多模态大模型与采样器以实现高效长视频理解
MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding
把关键帧选择建模为可微/可强化学习的采样权重预测,并用 MLLM 推理出的查询与冻结 CLIP 的相似度矩阵作为采样依据,为长视频 VLM 提供了一套可联合训练、可复用的帧选择范式。
MMR-AD:面向多模态大语言模型通用异常检测基准的大规模多模态数据集
MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models
提供了一个面向多模态大语言模型通用异常检测的大规模训练与评测基准,并给出基于思维链和强化学习的基线模型 Anomaly-R1,可作为视觉研究者探索 MLLM 在工业异常检测中后训练与推理增强的起点。
MM-ReCoder:以强化学习与自纠正推进图表到代码生成
MM-ReCoder: Advancing Chart-to-Code Generation with Reinforcement Learning and Self-Correction
把可执行环境的反馈作为奖励信号,用两阶段多轮 GRPO 训练 MLLM 自我纠错,这一范式可直接迁移到视觉到代码类任务(如 UI 到代码、图表理解、视觉程序合成),也为视觉语言模型引入执行级验证提供了可复用训练流程。
关联多模态大语言模型中的感知、置信度与准确率
Linking Perception, Confidence and Accuracy in MLLMs
对做多模态大模型视觉感知的人来说,这篇给出了一个可复用的思路:用原图-加噪图配对构造置信度奖励做强化学习,让模型在视觉不确定时给出校准的置信度;校准后的置信度还能直接驱动测试时扩展(自一致性/自反思/视觉自检的调度),是一种无需重训即可提升准确率的推理期手段。
在图像编辑中利用基于验证器的强化学习
Leveraging Verifier-Based Reinforcement Learning in Image Editing
提出基于思维链的推理奖励模型(RRM)作为图像编辑的通用奖励,并用GRPO微调编辑模型,为视觉生成中的RLHF提供可解释、细粒度的奖励设计思路。
让VLM给自己的思维打分:一种面向推理感知奖励建模的自量化方法
Let VLMs Grade Their Own Thoughts: A Self-Quantification Approach to Reasoning-Aware Reward Modeling
提出利用VLM自生成置信度作为奖励信号,替代外部约束进行强化学习对齐,为视觉语言模型的推理优化提供了无需人工标注的奖励建模思路,可迁移至其他多模态推理任务。
学会聚焦与精确裁剪:面向多模态大语言模型的信息差与视觉定位损失强化学习框架
Learning to Focus and Precise Cropping:A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs
针对多模态大模型在裁剪区域上「看了却没用」的问题,用信息差机制(降低全局图粒度以制造信息增益)配合少量边界框的 grounding loss 做两阶段强化学习,可复用于任何需要模型真正依赖局部细节的高分辨率 VQA / 细粒度感知流程。
学习什么有帮助:面向视觉任务的任务对齐上下文选择
Learning What Helps: Task-Aligned Context Selection for Vision Tasks
TACS 将检索选择器与任务模型联合训练,用任务奖励而非相似度来挑选上下文示例,为视觉任务中的检索增强提供了一种可复用的训练范式,尤其适用于数据有限或细粒度识别场景。
标注关键样本:模态平衡与难度感知的多模态主动学习
Label What Matters: Modality-Balanced and Difficulty-Aware Multimodal Active Learning
将样本选择建模为马尔可夫决策过程,用强化学习策略动态调整模态权重与样本难度,可直接迁移到多模态视觉任务(如图像-文本、视频-音频)的主动学习标注流程中。
通过数据高效强化学习激发多模态大模型的多功能视频推理能力
Incentivizing Versatile Video Reasoning in MLLMs via Data-Efficient Reinforcement Learning
对做视频多模态大模型的人,这篇给出了用多任务冷启动加多任务强化学习、再配合推理阶段多模态推理与动态采样的低成本训练配方,仅用 3k 冷启动数据与 5k RL 数据即可显著提升视频推理表现,可作为替代高成本长链语言 RL 的可复用方案。
HSI-GPT2:面向人-场景交互的双粒度大运动推理模型与扩散精炼
HSI-GPT2: A Dual-Granularity Large Motion Reasoning Model with Diffusion Refinement for Human-Scene Interaction
提出双粒度运动分词器与扩散解码器,将LLM的深层语义转化为物理合理的人体运动,为3D场景中的人-场景交互生成提供了可复用的运动表示与解码方案。
从像素到精确:利用图像级奖励增强手写数学表达式识别
From Pixel to Precision: Enhancing Handwritten Mathematical Expression Recognition with Image-Level Reward
将图像级视觉奖励(IMS)与GRPO结合,为视觉-语言模型提供更可靠的训练信号,可推广到其他需要渲染保真度的生成任务(如公式识别、图表生成)。
从图像对到序列:面向关键点检测的轨迹感知策略梯度
From Pairs to Sequences: Track-Aware Policy Gradients for Keypoint Detection
把关键点检测从图像对监督改为序列上的强化学习决策过程,用轨迹质量奖励驱动策略梯度,可直接用于 SfM/SLAM 前端特征点训练,提升长时序跟踪稳定性。
FireScope:以思维链预言机进行野火风险栅格预测
FireScope: Wildfire Risk Raster Prediction With a Chain-of-Thought Oracle
把 VLM 的思维链推理作为生成式空间预测的中间监督,用强化学习加视觉监督联合训练,让语言推理轨迹提升栅格生成的跨大陆泛化——这套「推理到生成」的范式可迁移到其他需要多源遥感输入与连续场输出的视觉任务。
FinPercep-RM:面向基于强化学习的真实世界超分辨率的细粒度奖励模型与协同进化课程
FinPercep-RM: A Fine-grained Reward Model and Co-evolutionary Curriculum for RL-based Real-world Super-Resolution
提出细粒度感知奖励模型(全局分数+感知退化图)和协同进化课程学习策略,可复用于基于强化学习的图像复原任务中,缓解奖励黑客问题并提升局部真实感。
增强视频视觉语言模型的海马体感知
Enhancing Video Vision Language Model with Hippocampal Sensing
提出跨模态预测感知范式与对比强化学习算法 VANAO,可借鉴用于视频-音频联合推理与选择性信息获取,提升视频 VLM 的推理效率与准确性。
EgoMind:通过语言推理激活多模态大语言模型的空间认知
EgoMind: Activating Spatial Cognition through Linguistic Reasoning in MLLMs
提出一种无需3D几何先验的纯语言思维链框架,通过角色扮演描述构建跨帧语言场景图,并渐进式分析空间问题,为视觉语言模型中的空间推理提供了可复用的提示与训练策略。
通过强化学习实现长视频理解中的高效帧选择
Efficient Frame Selection for Long Video Understanding via Reinforcement Learning
把「选哪些帧」当作可学习策略,用分层奖励的强化学习训练轻量选择器,可直接插到任意 MLLM 前端替代均匀采样,是长视频理解中低成本提升输入质量的通用手段。
EagleVision:基于鸟瞰图视觉定位思维链的双阶段空间智能框架
EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence
提出基于鸟瞰图(BEV)的主动视角选择与空间思维链推理框架,可复用于需要多视角几何推理的视觉语言任务,如具身导航与三维场景理解。
EVA:面向端到端视频智能体的高效强化学习框架
EVA: Efficient Reinforcement Learning for End-to-End Video Agent
把视频理解从「被动识别整段视频」改成「先规划再看」的智能体范式:用 SFT+KTO+GRPO 三阶段训练让 MLLM 自主决定看哪些帧、何时看,可直接复用到长视频问答与高效视频推理中。
EE-RL:面向端到端自动驾驶的探索者与专家模型视觉语言引导强化学习
EE-RL: Vision Language Guided Reinforcement Learning with Explorer and Expert model for End-to-End Autonomous Driving
将微调后的视觉语言模型作为稀疏关键场景的推理专家,并用StateHash按RGB相似度与运动学相似度跳过冗余VLM推理,这一「按需调用VLM」的机制可迁移到其他需要昂贵大模型推理的在线决策或感知流程中。
面向自适应与成本感知视觉惯性里程计的双智能体强化学习
Dual-Agent Reinforcement Learning for Adaptive and Cost-Aware Visual-Inertial Odometry
用轻量强化学习智能体动态决定视觉前端是否运行以及融合权重,为资源受限平台上的视觉惯性里程计提供了一种可复用的计算调度思路。
DriveVLN:面向自动驾驶的无地图视觉语言导航
DriveVLN: Towards Mapless Vision-and-Language Navigation in Autonomous Driving
将视觉语言导航(VLN)从室内逐步指令扩展到自动驾驶的无地图点对点导航,提出基于自然语言描述和视觉线索(路标、地标、文字指示)的导航任务,并构建CARLA仿真引擎支持大规模训练与闭环评测,为语言驱动的自动驾驶提供新基准。
DocSeeker:面向长文档理解的结构化视觉推理与证据定位
DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding
针对长文档理解中低信噪比和监督稀缺问题,提出结构化视觉推理流程与证据感知的强化学习优化方法,可复用于需要定位关键视觉证据的多模态任务。
通过锚定描述实现判别性感知以用于推理分割
Discriminative Perception via Anchored Description for Reasoning Segmentation
用描述性 caption 与上下文做语义对比来构造判别性奖励,可作为一种可复用的 RL 奖励设计思路,用于任何需要模型聚焦目标区域的 grounding/分割任务,同时产出与分割对齐的可解释理由。
关键差异:通过审计模型发现并修补能力缺口
Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification
用强化学习训练一个 MLLM 审计器,主动生成反事实图像与困难问题来最大化目标模型间的分歧,从而无标注地定位视觉语言模型的失效模式,并把这些样本直接当作微调数据来修补能力缺口——这是一种可复用的模型诊断与数据自举流程。
跨模态恒等映射:通过强化学习最小化模态转换中的信息损失
Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning
提出用图文检索相似度作为强化学习奖励信号,无需人工标注即可优化LVLM的图像描述,减少模态转换中的信息损失;该奖励设计可迁移到其他需要细粒度视觉理解的生成任务。
CodeDance:一种用于可执行视觉推理的动态工具集成多模态大语言模型
CodeDance: A Dynamic Tool-integrated MLLM for Executable Visual Reasoning
将可执行代码作为视觉推理的通用求解器,通过动态组合工具(如检测、绘图)并渲染中间视觉产物,实现透明、可自检的推理过程;其强化学习训练中涌现的工具组合与跨任务迁移能力,为视觉语言模型的可解释推理与工具增强提供了新范式。
CCCaption:面向完整与正确图像描述的双奖励强化学习
CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning
提出基于双奖励强化学习的图像描述训练框架,利用多个LVLM分解视觉查询来评估完整性和正确性,可复用于其他视觉语言生成任务的奖励设计。
先注视再注意力:通过自回归注视实现高效可扩展的视频理解
Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing
把「先看再算」做成可插拔的轻量模块:用自回归+强化学习在 ViT/MLLM 之前挑出最小多尺度 patch 集合,并以重建误差阈值控制保真度,可直接用于长视频、高分辨率输入下的 token 削减与推理加速。
AceTone:连接文字与色彩的条件图像分级
AceTone: Bridging Words and Colors for Conditional Image Grading
将颜色分级建模为生成3D-LUT token序列的任务,利用VQ-VAE压缩LUT并用视觉语言模型预测,为图像编辑提供了一种可复用的、语言驱动的全局颜色变换范式。
ARM-Thinker:通过智能体工具使用与视觉推理强化多模态生成式奖励模型
ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning
提出了一种可自主调用外部工具(如图像裁剪、文档检索)的多模态奖励模型,通过多阶段强化学习联合优化工具调用决策与判断准确性,为视觉语言模型的奖励建模提供了可验证证据和可解释性,可复用于需要细粒度视觉验证的视觉语言任务。