Tag · 9 篇

奖励建模

分布视觉语言模型5强化学习与具身智能2自动驾驶与遥感1图像编辑与可控生成1

Specificity-aware reinforcement learning for fine-grained open-world classification

为视觉语言模型在开放世界细粒度分类中提供了一种基于强化学习的微调框架，通过动态验证器奖励平衡预测的正确性与特异性，可复用于其他需要提升生成具体性的视觉语言任务。

RehearseVLA: Simulated Post-Training for VLAs with Physically-Consistent World Model

用世界模型生成时序一致的未来视觉观测来替代真实环境交互，为 VLA 做安全的 RL 后训练；其中 VLM 引导的即时反射器同时充当连续奖励与动作终止判别器，这一『视觉预测+奖励/终止联合建模』思路可迁移到任何需要在线评估的视觉策略学习场景。

Neuro-Cognitive Reward Modeling for Human-Centered Autonomous Vehicle Control

把脑电信号中的事件相关电位强度作为可预测的认知奖励信号，用视觉场景输入回归 ERP 强度并注入强化学习奖励，为视觉驾驶策略提供一种无需人工排序偏好数据的隐式人类对齐监督。

MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents

把心智理论（ToM）推理显式嵌入 VLM 具身智能体的感知-推理-决策-行动流水线，并用 Mind-Reward 优化目标对齐推理与行为，为视觉研究者提供了一个可复用的「以机器人为中心」的推理监督与奖励设计范式。

Meta-CoT: Enhancing Granularity and Generalization in Image Editing

Meta-CoT 将任意图像编辑操作分解为（任务、目标、所需理解能力）三元组，并进一步拆解为五个元任务，配合思维链一致性奖励，使模型在少量元任务训练后即可泛化到未见编辑任务；该分解思路可直接用于构建更细粒度的编辑指令数据与训练策略。

Let VLMs Grade Their Own Thoughts: A Self-Quantification Approach to Reasoning-Aware Reward Modeling

提出利用VLM自生成置信度作为奖励信号，替代外部约束进行强化学习对齐，为视觉语言模型的推理优化提供了无需人工标注的奖励建模思路，可迁移至其他多模态推理任务。

EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models

把可验证的反思式奖励（视觉-文本一致性 + 情感连贯性）接进 GRPO 类强化学习流程，为视觉-语言模型在主观、难以标注的任务上提供了一条可复用的训练范式；结构化思维链模板也可迁移到其他需要可解释推理的视觉理解任务。

Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning

把 RL 后训练中的奖励信号按「理解上下文」与「解题」两个角色解耦，并配合迭代演化的种子题池做课程学习，可直接迁移到视觉推理类 VLM 的数据稀缺微调场景，缓解奖励黑客与策略熵坍塌。

CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning

提出基于双奖励强化学习的图像描述训练框架，利用多个LVLM分解视觉查询来评估完整性和正确性，可复用于其他视觉语言生成任务的奖励设计。