Tag · 3 篇
视频生成模型
分布 生成模型与扩散2视觉语言模型1
01 02 03
用视频思考:视频生成作为有前景的多模态推理范式
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
把视频生成模型(如 Sora-2)当作统一的多模态推理器,用视频帧作为推理媒介,为视觉研究者提供了一个可复用的思路:将生成式视频模型直接用于视觉问答、数学推理等任务,并可用自一致性与上下文学习提升其推理表现。
GT-SVJ:基于生成Transformer的自监督视频裁判用于高效视频奖励建模
GT-SVJ: Generative-Transformer-Based Self-Supervised Video Judge For Efficient Video Reward Modeling
将视频生成模型(如扩散模型)通过能量模型重参数化,并利用潜在空间扰动构造负样本进行对比训练,从而作为时序感知的奖励模型,为视频生成质量评估和偏好对齐提供了新思路。
编排动态物体世界
Choreographing a World of Dynamic Objects
把 2D 视频生成模型中的欧拉表示蒸馏成拉格朗日运动信息,从而无需类别专属数据即可合成多体 4D 动态;这一「从视频先验提取运动」的蒸馏思路可直接迁移到动态场景重建、运动迁移与机器人策略生成。