Tag · 14 篇
策略优化
通过显式从失败中学习释放自动驾驶中的 VLA 潜力
Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures
对做自动驾驶 VLA 的研究者，这篇论文给出了一种把失败诊断的结构化文本反馈转成高奖励修正样本、再注入 RL 训练批次的做法，可用来突破 SFT 后 RL 探索受限导致的性能平台期，尤其适用于长尾场景中奖励稀疏的规划任务。
SRPO：面向视觉-语言-动作模型的自参照策略优化
SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models
用世界模型的潜空间编码替代像素级比较来度量轨迹进度，为视觉驱动的机器人策略提供了一种无需人工奖励工程、可跨环境泛化的稠密奖励构造方式，可直接迁移到其他 VLA 后训练或视觉轨迹评估场景。
ReLaX：面向大型推理模型的潜空间探索推理
ReLaX: Reasoning with Latent Exploration for Large Reasoning Models
ReLaX 利用 Koopman 算子理论对 LRM 的隐藏状态动力学进行线性化建模，并提出动态谱离散度（DSD）指标来量化潜空间探索程度，为视觉-语言模型中的强化学习微调提供了一种超越词元级多样性的探索调控手段，可直接用于多模态推理任务的策略优化。
R-4B：通过双模式退火与强化学习激发多模态大模型中的通用自动思考
R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning
为视觉语言模型引入「按输入复杂度自动决定是否展开逐步推理」的双模式机制，配合双 rollout 强化学习策略，可直接迁移到需要兼顾精度与推理成本的 VQA、图文推理等视觉任务部署中。
Monet：超越图像与语言的潜视觉空间推理
Monet: Reasoning in Latent Visual Space Beyond Image and Language
把中间推理步骤从文本 token 换成连续视觉嵌入，让 MLLM 在潜视觉空间里做多步推理，并给出 VLPO 把潜嵌入纳入策略梯度更新——做多模态推理、CoT 或 RL 微调的人可以直接复用这套三阶段蒸馏 SFT + 潜变量 RL 的训练配方。
MaskFocus：将策略优化聚焦于掩码图像生成的关键步骤
MaskFocus: Focusing Policy Optimization on Critical Steps for Masked Image Generation
对做掩码生成模型（MaskGIT 类）的研究者，这篇给出了把 RL 后训练落到多步迭代采样上的可行路径：用中间图像与最终图像的相似度定位关键步、只在这些步上算似然做策略优化，并用熵驱动的动态路由采样提升掩码策略探索，可直接迁移到其他迭代式生成器的后训练。
JarvisEvo：面向协同编辑器-评估器优化的自进化照片编辑智能体
JarvisEvo: Towards a Self-Evolving Photo Editing Agent with Synergistic Editor-Evaluator Optimization
把交错多模态思维链（iMCoT）与编辑器-评估器协同策略优化（SEPO）引入图像编辑智能体，为视觉研究者提供一种无需外部奖励模型即可自我改进、并缓解奖励黑客的可复用训练范式；同时其保真型/生成型编辑双工具集成与 ArtEdit-Bench 评测协议可直接用于评估编辑中的像素级保真度。
HiconAgent：面向 GUI 智能体的历史上下文感知策略优化
HiconAgent: History Context-aware Policy Optimization for GUI Agents
把「历史观测该保留多少」变成策略优化里的显式变量：DCS 在采样阶段给智能体不同长度的历史，AHC 用双分支（压缩分支丢观测、保留动作作为信息流锚点）加对齐损失约束两分支一致，这套「变长历史采样 + 压缩分支对齐」可直接迁移到视频/多帧输入的视觉决策模型，用来在长时序视觉上下文下省算力。
从像素到精确：利用图像级奖励增强手写数学表达式识别
From Pixel to Precision: Enhancing Handwritten Mathematical Expression Recognition with Image-Level Reward
将图像级视觉奖励（IMS）与GRPO结合，为视觉-语言模型提供更可靠的训练信号，可推广到其他需要渲染保真度的生成任务（如公式识别、图表生成）。
面向强化微调的动态重要样本挖掘
Dynamic Important Example Mining for Reinforcement Finetuning
对做视觉推理模型（如多模态大模型、视觉问答）的研究者，DIEM 提供了一种在 RFT 阶段按梯度对齐动态估计样本边际贡献并做约束式批重加权的通用手段，可直接迁移到视觉推理数据的采样与课程设计上。
COPO：面向多模态大语言模型幻觉的因果导向策略优化
COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs
COPO 通过因果完备性奖励和 token 级充分性/必要性约束，在 GRPO 框架内构造因果感知的优势函数，为视觉语言模型提供了一种可复用的幻觉缓解训练策略，可直接用于改进多模态对齐与生成忠实度。
超越感知捷径：面向轻量级多模态大模型可泛化视频推理的因果启发去偏优化
Beyond Perceptual Shortcuts: Causal-Inspired Debiasing Optimization for Generalizable Video Reasoning in Lightweight MLLMs
对做轻量级视频 MLLM 的研究者，这篇给出了一个可复用的去偏训练范式：先训练一个专门拟合数据偏置的「偏置模型」，再用带排斥项的 CDPO 目标把主模型推离捷径逻辑，可在不做 SFT、仅用 1% 数据做 RL 的条件下提升视频推理泛化性。
殊途同归：激励视觉语言模型中的发散性思维
All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
对做 VLM 推理增强的人，这篇给出了 GRPO 多样性坍塌的诊断（模型过早收敛到少数推理策略），并提出 MUPO 用多组策略优化维持解空间多样性，可直接替换 GRPO 的训练目标用于多模态推理微调。
3DrawAgent：通过早期对比经验教 LLM 在 3D 中绘图
3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience
提出一种无需参数更新的相对经验优化策略，利用 CLIP 感知奖励和 LLM 定性评估构建成对比较，迭代优化 LLM 的 3D 绘图先验，可复用于其他需要黑盒优化的视觉生成任务。