Tag · 5 篇
物理推理
SIMPACT:利用视觉语言模型的仿真赋能动作规划
SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
把可微/高效的物理仿真器当作 VLM 的『世界模型』在测试时闭环调用:从单张 RGB-D 快速构建仿真场景,让 VLM 提出动作、观察 rollout 再修正推理,无需额外训练。做具身操作或 VLM 物理常识的研究者可直接复用这一『仿真在环』的推理范式,替代纯文本 CoT 或昂贵的真机试错。
QuantiPhy:评估视觉语言模型物理推理能力的定量基准
QUANTIPHY: A Quantitative Benchmark Evaluating Physical Reasoning Abilities of Vision-Language Models
该基准把 VLM 的物理理解从定性 VQA 推进到对尺寸、速度、加速度的定量数值估计,并揭示模型依赖预训练世界知识而非忠实使用视觉输入;做视频理解或多模态推理的研究者可用它诊断模型是否真正从像素中推断运动学量,也可借鉴其标准化提示与评分协议来构建数值化评测。
PhyCritic:面向物理 AI 的多模态评判模型
PhyCritic: Multimodal Critic Models for Physical AI
自参照评判(critic 先自行生成预测作为内部参照再打分)这一机制可直接迁移到视觉生成/编辑结果的自动评测与偏好数据筛选,为扩散模型或 VLM 的 RLHF/RLVR 提供更稳定的奖励信号。
IPR-1:交互式物理推理器
IPR-1: Interactive Physical Reasoner
用世界模型 rollout 作为奖励信号来强化 VLM 策略,并用物理中心动作码(PhysCode)对齐语义意图与动力学,为视觉研究者提供了一种在交互环境中把预测模型与推理模型耦合的可复用范式。
Dynamics:基于语言从视频推断刚体动力学的表示方法
Dynamics: Language-Based Representation for Inferring Rigid-Body Dynamics From Videos
将语言作为刚体动力学的统一表示,利用光流作为语义无关输入增强泛化,并通过测试时采样和进化搜索提升物理参数推断精度,为视觉物理推理提供了新范式。