Tag · 36 篇
世界模型
X-WIN：通过预测性感知构建胸部X射线世界模型
X-WIN: Building Chest Radiograph World Model via Predictive Sensing
X-WIN 通过从 CT 体数据蒸馏三维解剖知识来构建 CXR 世界模型，其潜空间投影预测与亲和力引导对比对齐损失可迁移到其他需要从 2D 投影恢复 3D 结构的视觉任务，如 X 光片的三维重建与跨模态表征学习。
WPT：通过在线世界模型蒸馏实现从世界模型到策略的迁移
WPT: World-to-Policy Transfer via Online World Model Distillation
对做视觉驱动决策的研究者，可复用其「世界模型在线蒸馏到轻量学生策略」的范式：用世界模型预测的未来动力学构造奖励信号训练教师策略，再蒸馏为学生策略，从而在保持实时推理的同时获得世界模型的规划收益。
VideoWorld 2：从真实世界视频中学习可迁移知识
VideoWorld 2: Learning Transferable Knowledge from Real-world Videos
用预训练视频扩散模型承担视觉外观建模、把动作动力学剥离到紧凑潜变量码上再自回归建模，这一「外观-动力学解耦」思路可直接迁移到机器人操作策略学习与长时序视频预测中，也提示视觉研究者可把扩散模型当作可复用的外观先验而非端到端生成器。
TraceGen：在3D轨迹空间中进行世界建模，实现跨具身视频学习
TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos
把世界模型的预测空间从像素空间换成紧凑的3D轨迹（trace）空间，用跨具身视频预训练出可迁移的3D运动先验，从而在只有5条目标机器人视频时也能少样本适配；对做视频世界模型、机器人策略学习和跨域表征的人来说，这是一个可复用的「用几何轨迹替代像素生成」的建模思路。
驾驶前先思考：受世界模型启发的多模态视觉定位
Think Before You Drive: World Model-Inspired Multimodal Grounding
将世界模型的未来潜状态推演引入视觉定位，用命令感知的潜变量序列为歧义指令提供前瞻线索，这一「先推演后定位」的范式可迁移到任何需要空间关系推理的视觉-语言任务。
StaMo：从紧凑状态表征中无监督学习可泛化的机器人运动
StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation
用预训练 DiT 作为解码器，从静态图像编码出仅两个 token 的紧凑状态表征，并通过潜变量插值得到可直接解码为机器人动作的潜动作；对做 VLA、世界模型或从视频/图像中挖掘动作监督的视觉研究者，这是一个可复用的轻量表征与潜动作提取方案。
SpatialVID：带空间标注的大规模视频数据集
SpatialVID: A Large-Scale Video Dataset with Spatial Annotations
SpatialVID 提供了带逐帧相机位姿、深度图、动态掩码和运动指令的大规模真实视频，可直接用于训练可控视频生成、几何重建和世界模型，解决这些任务缺乏真实动态场景真值相机运动数据的问题。
SEBA：面向视觉强化学习的高样本效率黑盒攻击
SEBA: Sample-Efficient Black-Box Attacks on Visual Reinforcement Learning
对做视觉 RL 或机器人策略的研究者，这篇给出了一个只用少量环境交互就能攻击图像输入连续控制策略的黑盒框架：用世界模型替代真实环境查询、用影子 Q 模型估计对抗回报、用 GAN 生成不可感知扰动，可直接用于评估视觉策略的对抗脆弱性。
RehearseVLA：面向 VLA 的物理一致世界模型模拟后训练
RehearseVLA: Simulated Post-Training for VLAs with Physically-Consistent World Model
用世界模型生成时序一致的未来视觉观测来替代真实环境交互，为 VLA 做安全的 RL 后训练；其中 VLM 引导的即时反射器同时充当连续奖励与动作终止判别器，这一『视觉预测+奖励/终止联合建模』思路可迁移到任何需要在线评估的视觉策略学习场景。
RAYNOVA：射线空间中的尺度-时序自回归世界建模
RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space
RAYNOVA 提出基于相对 Plücker 射线位置编码的各向同性时空表示，结合双因果自回归框架统一处理尺度与时间拓扑顺序，为多视角视频生成提供了一种无需显式 3D 几何先验的通用方法，可启发视觉研究者设计更鲁棒的世界模型。
R4：面向视觉语言模型在 4D 时空空间中的检索增强推理
R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space
把物体级语义描述锚定到度量空间与时间轴上构建可跨智能体共享的 4D 知识库，并用语义/空间/时序三路键做检索，为 VLM 在具身场景中提供免训练的长时记忆与时空推理能力，可直接迁移到导航与情景问答。
用 8 个 token 做规划：面向潜空间世界模型的紧凑离散分词器
Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model
把观测压缩到 8 个离散 token 的潜空间表示，可直接替换视觉世界模型中的重型分词器，使基于模型的规划在实时控制下变得可行；做视觉世界模型或 VLA 的读者可以借鉴其压缩比与规划保真度之间的权衡设计。
PhysInOne：一体化视觉物理学习与推理套件
PhysInOne: Visual Physics Learning and Reasoning in One Suite
为物理感知视频生成与世界模型提供带3D几何、语义、运动、物理属性与文本标注的大规模合成视频数据，可直接用于微调视频生成/预测基础模型并评测其物理合理性。
感知式 3D 仿真与物理世界建模
Perceptual 3D Simulation With Physical World Modeling
把感知建模为多模态场景变量的概率推断，并用部分 3D 变换信号作为条件、用持久场景记忆做在线一致性更新，这一「学习式世界模型 + 显式几何条件」的组合可直接迁移到新视角合成与动态场景预测任务中，作为对纯数据驱动生成模型的归纳偏置补充。
NavForesee：面向分层规划与双视野导航预测的统一视觉语言世界模型
NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction
将视觉语言模型同时作为高层规划器和生成式世界模型，通过预测短期环境动态与长期导航里程碑形成感知-规划-预测-动作的内部反馈闭环，为具身导航中的长程规划提供可复用的双视野预测框架。
Motus：统一的潜动作世界模型
Motus: A Unified Latent Action World Model
把光流当作像素级「delta action」来学习潜动作，并用 UniDiffuser 式调度器在同一个 MoT 主干里切换世界模型、VLA、逆动力学与视频生成模式，为视觉研究者提供了「用视频生成先验做机器人动作预训练」的可复用范式。
ModularAgent：面向多模态大语言模型与世界模型联合优化的任务感知模块化框架
ModularAgent: A Task-Aware Modular Framework for Joint Optimization of Multimodal Large Language Models and World Models
把 MLLM 的语义表征注入世界模型潜空间、再用世界模型生成的稠密文本条件奖励反向精炼 MLLM 语义空间的双向耦合机制，可为视觉研究者提供一种将视觉动态预测与语言语义先验联合训练的可复用范式，尤其适用于需要多任务与跨环境泛化的具身视觉策略学习。
MRI对比增强动力学世界模型
MRI Contrast Enhancement Kinetics World Model
提出时空一致性学习框架，通过潜空间对齐和潜空间差分学习解决稀疏时序采样下的连续动力学建模问题，可迁移到其他需要从稀疏观测重建连续时序过程的视觉任务。
MAD：面向高效驾驶世界模型的运动-外观解耦
MAD: Motion Appearance Decoupling for efficient Driving World Models
把视频扩散模型拆成「先预测骨架化运动、再渲染 RGB 外观」两阶段，用极少量监督和算力把通用视频模型改造成可控驾驶世界模型；做视频生成或驾驶仿真的研究者可直接复用这种运动-外观解耦的适配范式与文本/自车/物体控制接口。
面向端到端自动驾驶的潜变量思维链世界建模
Latent Chain-of-Thought World Modeling for End-to-End Autonomous Driving
把思维链从自然语言搬到与动作同词表的潜空间，并用学习到的潜世界模型 token 表达未来结果，为视觉端到端驾驶提供了一种推理更快、可直接接闭环 RL 后训练的推理时推理范式；其『动作对齐潜空间 + 世界模型 token 交错』的结构可迁移到其他视觉-动作序列决策任务。
InternVideo-Next：迈向世界理解的视频模型
InternVideo-Next: Towards World-Understanding Video Models
提出 Encoder-Predictor-Decoder 框架，用条件扩散解码器注入图像语义先验，解决像素级 MVM 收敛难与语义冲突问题，为视频自监督预训练提供可复用的潜空间世界模型构建方案。
视频生成模型的推理时物理对齐：基于潜变量世界模型
Inference-time Physics Alignment of Video Generative Models with Latent World Models
把潜变量世界模型（VJEPA-2）当作奖励，在推理阶段搜索并引导多条去噪轨迹，为视频生成提供了一种无需重训练、可扩展测试时计算的物理合理性对齐手段，可直接迁移到其他生成模型的后处理与采样策略中。
IPR-1：交互式物理推理器
IPR-1: Interactive Physical Reasoner
用世界模型 rollout 作为奖励信号来强化 VLM 策略，并用物理中心动作码（PhysCode）对齐语义意图与动力学，为视觉研究者提供了一种在交互环境中把预测模型与推理模型耦合的可复用范式。
HiF-VLA：通过运动表征为视觉-语言-动作模型引入回溯、洞察与前瞻
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
把帧间运动（而非原始像素）作为紧凑的时序上下文表征，并以此构建以运动为中心的世界模型，为 VLA 提供回溯先验与前瞻推理；这一「运动即上下文」的思路可直接迁移到任何需要长程时序一致性的视觉-动作策略中，且额外推理延迟可忽略。
Goal Force：教视频模型完成物理条件化的目标
Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals
把力向量与中间动力学作为条件信号注入视频生成模型，使其充当隐式神经物理模拟器；这一条件化范式可迁移到需要物理一致性的视频预测与机器人规划任务中。
GeoWorld：几何世界模型
GeoWorld: Geometric World Models
把 JEPA 的潜变量从欧氏空间映射到双曲流形，用几何层级结构约束表征，再配合几何强化学习做多步规划；对做视频预测式世界模型或潜空间规划的人，这是一条可直接替换潜空间几何的通用思路。
GenieDrive：面向物理感知驾驶世界模型的4D占用引导视频生成
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
将4D占用作为物理先验引导视频扩散生成，并设计潜变量三平面VAE压缩高分辨率占用，为自动驾驶世界模型提供可复用的物理感知生成框架。
GEM：基于可变形 Mamba 的激光雷达世界模型生成
GEM: Generating LiDAR World Model via Deformable Mamba
把序列激光扫描与 Mamba 的选择性扫描机制对齐，并用三路可变形 Mamba 在解耦后的动态/静态 token 上做时空建模，为激光雷达点云生成式世界模型提供了一个可复用的骨干设计；其 BEV 布局控制器与规划器接口也便于把生成模型接入自动驾驶闭环仿真。
DriveLaW：在潜空间驾驶世界中统一规划与视频生成
DriveLaW: Unifying Planning and Video Generation in a Latent Driving World
把视频生成器的潜变量直接接入扩散规划器，让未来预测与轨迹规划共享同一表征，为自动驾驶端到端规划提供了一种「生成即规划」的可复用范式；其潜变量注入与三阶段渐进训练策略也可迁移到其他需要预测-决策耦合的视觉任务。
DreamSAC：通过对称性探索学习哈密顿世界模型
DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration
用自监督对比目标从视角相关的原始像素中提取不变物理状态，可作为视觉表征学习的一种思路：把守恒律/对称性作为监督信号，提升模型对未见物理属性的外推能力。
DLWM：双潜变量世界模型实现自动驾驶中全面的高斯中心预训练
DLWM: Dual Latent World Models enable Holistic Gaussian-centric Pre-training in Autonomous Driving
提出以3D语义高斯为场景表示的双潜变量世界模型预训练框架，可复用于基于高斯表示的感知与规划任务，其高斯流引导的潜变量预测思路对时序特征学习有借鉴意义。
克隆确定性世界：潜空间几何在长时程世界模型中的关键作用
Cloning Deterministic Worlds: The Critical Role of Latent Geometry in Long-Horizon World Models
论文揭示潜空间几何结构是长时程世界模型保真度的瓶颈，并提出时序对比学习作为几何正则化手段，可无缝集成到标准自编码器中。这对视觉世界模型、视频预测等任务中表征学习的设计具有直接启发，即通过对比约束塑造反映物理状态流形的潜空间。
世界之链：潜运动中的世界模型思维
Chain of World: World Model Thinking in Latent Motion
把预训练视频 VAE 显式分解出的结构/运动潜变量当作「潜运动链」来预测，替代逐帧重建未来画面，为视觉研究者提供了一种在潜空间做时序世界建模、并与动作序列联合自回归的紧凑方案，可直接迁移到机器人策略学习与视频预测任务。
Captain Safari：具有位姿对齐3D记忆的世界引擎
Captain Safari: A World Engine with Pose-Aligned 3D Memory
提出位姿对齐的持久世界记忆与检索器，为长时程、6-DoF可控视频生成提供可复用机制；OpenSafari数据集与几何/运动学验证流程可用于评估相机轨迹跟随与3D一致性。
通过闭环世界建模实现视频化身中的主动智能
Active Intelligence in Video Avatars via Closed-loop World Modeling
把视频生成模型当作可交互环境，用闭环的观察-思考-行动-反思循环和结果校验来修正生成漂移，为长时程视频生成中的状态一致性问题提供了一个可复用的推理-生成耦合框架。
一帧只需一个词元：用 Delta 词元进行高效生成式世界建模
A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens
把相邻帧的 VFM 特征差压缩成单个连续 delta 词元，将视频从三维时空表示降为一维时序序列，这一分词思路可直接复用于视频预测、特征空间生成建模与高效多假设采样。