Tag · 4 篇
潜变量推理
在不确定性中思考:利用潜变量熵感知解码缓解多模态大模型中的幻觉
Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding
提出一种基于熵感知的解码策略,通过概率加权连续嵌入和视觉锚框注入来缓解多模态大模型在视觉问答中的幻觉,可作为一种即插即用的推理时增强手段用于视觉语言模型。
机器心理意象:以潜视觉 token 增强多模态推理
Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
把 VLM 的隐藏状态直接当作「潜视觉 token」续写到解码轨迹里,替代显式生成图像来做视觉想象,为多模态推理提供了一条不依赖图像生成器的中间表示路径;其「先蒸馏图像嵌入、再纯文本监督、最后 RL 微调」的三段式训练流程可直接迁移到其他需要视觉中间步骤的 VLM 任务。
面向端到端自动驾驶的潜变量思维链世界建模
Latent Chain-of-Thought World Modeling for End-to-End Autonomous Driving
把思维链从自然语言搬到与动作同词表的潜空间,并用学习到的潜世界模型 token 表达未来结果,为视觉端到端驾驶提供了一种推理更快、可直接接闭环 RL 后训练的推理时推理范式;其『动作对齐潜空间 + 世界模型 token 交错』的结构可迁移到其他视觉-动作序列决策任务。
Fast-ThinkAct:通过可言语化潜变量规划实现高效视觉-语言-动作推理
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
把显式思维链压缩成可言语化的潜变量规划,并用偏好引导目标把教师的语言与视觉规划能力蒸馏进学生策略,为视觉研究者提供了一条在保持长程规划与失败恢复能力的同时大幅降低 VLA 推理延迟的可复用思路。