Tag · 5 篇
过程奖励模型
通过免训练奖励归因解锁词元奖励
Unlocking Token Rewards via Training-Free Reward Attribution
对做多模态大模型推理（如 MathVista 上的视觉数学推理）的研究者，这篇给出了一个免训练、单次前向+反向即可从现有 PRM 中提取词元级奖励的方法，可直接替换 RL 微调中的结果奖励做更细粒度的信用分配，无需再训练奖励模型。
SketchVL：通过细粒度信用分配的策略优化用于图表理解及其他任务
SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
把中间推理步骤以「在图上画标记」的形式外化并回灌给模型，再用过程奖励模型对每一步打分做细粒度信用分配，这套「视觉标注式思维链 + 步级 RL」可直接迁移到需要精确空间定位的视觉推理任务（图表、几何、文档、计数）。
以感知为中心的过程奖励模型改进视觉语言模型
Improving Vision-language Models with Perception-centric Process Reward Models
提供了一种可复用的过程奖励模型思路：把 VLM 回答拆成与图像相关的断言，逐条与视觉证据比对以定位感知幻觉片段，并将该信号转为 token 级优势用于 RL 训练或推理时的截断重生成，可直接用于缓解视觉幻觉与提升多模态推理。
分层过程奖励模型是符号视觉学习器
Hierarchical Process Reward Models are Symbolic Vision Learners
用符号自编码器把图表解析成点/线/形状等结构化基元，并以分层过程奖励约束几何一致性，可替代 MLLM 的视觉编码器或直接为 LLM 提供可解释的符号解析输入，为几何/图表类视觉推理提供了一条非像素化的表征路径。
面向机器人强化学习的通用过程奖励建模
General Process Reward Modeling for Robotic Reinforcement Learning
多视角奖励融合与逐步奖励离散化为视觉研究者提供了从多视角观测中提取细粒度操作进度信号的通用范式，可直接复用于机器人操作策略的稠密奖励建模与单样本任务适配。