Tag · 3 篇
视觉语言推理
分布 视觉语言模型2自动驾驶与遥感1
01 02 03
PDCR：面向视觉语言推理的感知分解置信度奖励
PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning
对做 VLM 推理训练的人，这篇给出了一个可直接复用的奖励塑形思路：用模型内部的 Visual Dependence Score 把推理链中的视觉感知步与文本推理步分开，再在各自簇内归一化置信度增益，避免稀疏视觉步的信号被密集文本步淹没；该分解与归一化流程可迁移到任何带思维链的多模态强化学习训练中。
在多模态大语言模型中用事件流学习看穿极端光照
Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models
把事件流作为与 RGB 互补的模态接入 MLLM，并用 DINOv2 分支导出的可学习光照指示信号自适应调制融合权重，同时用潜空间对齐损失把退化特征拉回正常光照语义——这套「退化感知的模态门控 + 潜空间语义对齐」可直接迁移到低光、过曝、夜间等视觉任务的特征融合设计中。
KnowVal：知识增强与价值引导的自动驾驶系统
KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System
将开放世界感知与交通法规/防御性驾驶知识图谱通过 LLM 检索结合，并用人类偏好训练的价值模型对候选轨迹做可解释打分，可作为视觉端到端规划器中「规则约束+价值对齐」的即插即用评估模块。