Q学习

超越成功：通过即时干预从混合质量数据中精炼优雅的机器人操作

Beyond Success: Refining Elegant Robot Manipulation from Mixed-Quality Data via Just-in-Time Intervention

提出一种与基础 VLA 策略解耦的「优雅性评论家」加推理时按需干预机制：用离线校准 Q 学习估计候选动作的执行质量，仅在评论家置信度低的决策关键点介入。做 VLA 策略后处理、动作质量重排序或推理时对齐的视觉研究者可直接复用该「评论家+选择性干预」范式，无需重训大模型。