Tag · 6 篇
自适应推理
VideoAuto-R1:思考一次、回答两次的视频自动推理
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
提出「按需推理」机制:用初始答案的置信度决定是否触发思维链,可直接迁移到视频问答、视觉定位等 VLM 推理流程中,在几乎不掉点的前提下把平均输出长度压缩 3.3 倍,是降低多模态大模型推理延迟的可复用策略。
按需视觉:以稀疏、动态选择的视觉-语言交互提升 VLLM 效率
VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
对做多模态视觉研究的人,这篇论文给出了一条不丢弃视觉词元、而是稀疏化图文交互的加速路径:用少量交叉注意力层提供全局视觉上下文,再用动态选择的自注意力层按样本复杂度精炼高分辨率视觉表示,可直接迁移到任何 LVLM 的推理加速与高分辨率细粒度理解场景。
R-4B:通过双模式退火与强化学习激发多模态大模型中的通用自动思考
R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning
为视觉语言模型引入「按输入复杂度自动决定是否展开逐步推理」的双模式机制,配合双 rollout 强化学习策略,可直接迁移到需要兼顾精度与推理成本的 VQA、图文推理等视觉任务部署中。
自由粒度层级视觉识别
Free-Grained Hierarchical Visual Recognition
把视觉语言模型的语义先验和半监督学习引入层级分类,用于处理训练标签粒度不统一的现实场景;其「自由粒度推理」让模型按置信度自适应选择预测深度,这一思路可迁移到任何需要输出粗细可变预测的视觉任务。
反事实 VLA:具备自适应推理的自反思视觉-语言-动作模型
Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning
把反事实自反思作为 VLA 执行前的推理环节,并配合 rollout-filter-label 数据挖掘管线,可为视觉驱动的端到端规划提供「先想后做」的可复用范式,尤其适合需要安全约束的轨迹生成任务。
面向视觉-语言-动作模型的推理时自适应动作分块
Adaptive Action Chunking at Inference-time for Vision-Language-Action Models
提出用动作熵作为推理时自适应选择动作分块大小的线索,可被其他 VLA 模型直接复用,以平衡响应速度与动作一致性。