视觉语言模型 / CVPR2026
从探索到利用:面向噪声容忍 MLLM 训练的两阶段熵 RLVR 方法
From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training
对做 MLLM 后训练的人,这套「先熵最大化探索、后熵最小化利用」的 token 级熵调度可直接插到 GRPO 训练循环里,用来在标注噪声大的视觉问答/多模态推理数据上稳住组内奖励方差、避免过早收敛到错标。
强化学习可验证奖励组相对策略优化token级熵正则