Tag · 55 篇
视频扩散模型
WorldStereo：通过三维几何记忆连接相机引导视频生成与场景重建
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
把增量更新的点云作为全局几何记忆、用3D对应关系约束注意力感受野，为相机可控视频扩散提供了一种可复用的几何条件注入方式；同时其蒸馏骨干网络免联合训练的轻量控制分支设计，对做可控生成与少步采样的人有直接参考价值。
VideoWorld 2：从真实世界视频中学习可迁移知识
VideoWorld 2: Learning Transferable Knowledge from Real-world Videos
用预训练视频扩散模型承担视觉外观建模、把动作动力学剥离到紧凑潜变量码上再自回归建模，这一「外观-动力学解耦」思路可直接迁移到机器人操作策略学习与长时序视频预测中，也提示视觉研究者可把扩散模型当作可复用的外观先验而非端到端生成器。
VideoCoF：基于时序推理器的统一视频编辑
VideoCoF: Unified Video Editing with Temporal Reasoner
把「先预测编辑区域隐变量、再生成目标视频」的思维链式两阶段生成范式引入视频扩散模型，用推理 token 替代用户掩码实现指令到区域的精确对齐；其 RoPE 对齐策略还可用于超出训练时长的视频长度外推，对做指令驱动编辑与长视频生成的人可直接复用。
VerseCrafter：具备4D几何控制的动态真实视频世界模型
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
用静态背景点云加逐物体3D高斯轨迹构成的4D几何控制表示，渲染成控制图去条件化预训练视频扩散模型，为视觉研究者提供了一种类别无关、可精确控制相机与多物体运动的视频生成条件化范式。
跟踪引导的 4D 生成：面向 3D 模型动画的基础跟踪器运动先验
Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation
将基础点跟踪器提取的稠密特征级运动先验注入多视图视频扩散模型的中间特征，并用于 4D-GS 的混合运动编码，为动态 4D 生成提供可复用的时序一致性约束手段。
TempoMaster：通过下一帧率预测实现高效长视频生成
TempoMaster: Efficient Long Video Generation via Next-Frame-Rate Prediction
把长视频生成拆成「先低帧率粗蓝图、再逐级升帧率精修」的层级自回归范式，帧内双向注意力保证并行效率、跨帧率自回归保证长程时序一致，可直接迁移到任何需要长时序一致性的视频扩散/流匹配采样流程中。
通过零样本相机控制驾驭视频模型实现 3D 与 4D 生成
Taming Video Models for 3D and 4D Generation via Zero-Shot Camera Control
提出一种免训练、模型无关的推理时相机轨迹控制方法：在去噪过程中用步内精修循环注入运动引导，并用光流分析定位潜空间中与运动相关的通道，从而解耦运动与外观；可直接复用于视频生成、3D/4D 生成以及视频编辑、稳定化等需要精确相机控制的下游任务。
SynMotion：面向运动定制视频生成的语义—视觉自适应
SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation
把主体与运动表征解耦成双嵌入、再叠加参数高效运动适配器的做法，可直接迁移到任何需要「保留主体身份、只换动作」的视频扩散定制任务；配套的交替训练策略与 SPV 数据构造方式也为少样本运动定制提供了可复用的训练范式。
立体世界模型：相机引导的立体视频生成
Stereo World Model: Camera-Guided Stereo Video Generation
提出相机帧RoPE和立体感知注意力分解，在RGB模态下直接生成具有视差一致性的立体视频，可复用于需要相机控制的多视角视频生成任务，并支持长视频蒸馏。
SpaceTimePilot：跨空间与时间的动态场景生成式渲染
SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time
通过动画时间嵌入与时间扭曲训练方案，在视频扩散模型中显式解耦相机运动与场景运动，为可控新视角视频生成提供可复用的条件控制手段；CamxTime 数据集可用于训练自由时空轨迹渲染。
ScenDi：用于城市生成的三维到二维场景扩散级联
ScenDi: 3D-to-2D Scene Diffusion Cascades for Urban Generation
把 3D 潜扩散生成的高斯场景渲染成低分辨率图像，再作为条件喂给 2D 视频扩散做细节增强，这条「3D 粗生成 + 2D 精修」级联思路可直接迁移到需要相机可控性的街景/驾驶场景合成与仿真数据扩增。
SURF：保留签名的快速视频生成
SURF: Signature-Retained Fast Video Generation
提出免训练的 noise reshifting：先在原分辨率做前几步去噪再切到低分辨率，避免高分辨率模型在低分辨率推理时的签名损失；配合预览-精修两阶段与窗口移位 Refiner，可作为插件套到任意视频扩散基座与加速方法上，做高分辨率视频生成的即插即用加速。
SPDMark：面向鲁棒视频水印的选择性参数位移
SPDMark: Selective Parameter Displacement for Robust Video Watermarking
将水印嵌入视频扩散模型的生成过程，通过LoRA实现参数位移，并利用密钥派生帧级消息与二分图匹配恢复帧序，为生成视频的溯源与防篡改提供可复用方案。
奖励强制：基于奖励分布匹配蒸馏的高效流式视频生成
Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation
用 EMA 融合被逐出滑动窗口的 token 替代静态 sink token，解决少步蒸馏流式视频生成中初始帧复制、运动退化的问题；再用 VLM 打分构造奖励偏置的分布匹配蒸馏，把教师模型的运动动态蒸馏进学生模型，可直接迁移到任何流式/长视频扩散蒸馏管线。
Real2Edit2Real：通过三维控制接口生成机器人演示数据
Real2Edit2Real: Generating Robotic Demonstrations via a 3D Control Interface
把度量尺度三维重建 + 点云编辑得到的深度图当作视频扩散的主控制信号，配合动作/边缘/射线图合成多视角操作视频，为视觉研究者提供了一个可复用的『3D 编辑→2D 生成』数据增广管线，尤其适合空间泛化场景下的策略训练。
基于参考引导深度压缩变分自编码器的实时可流式说话人肖像视频生成
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
因果视频 VAE 将可变数量的参考图像作为引导，把静态外观信息从潜变量中剥离，使网络专注动态信息，这一思路可直接迁移到任何需要深度潜空间压缩的流式视频生成任务；块级自回归的 Rectified Flow Transformer 也为实时长视频生成提供了可复用的采样架构。
RAPID：面向高效视频扩散的跨步自适应注意力稀疏复用
RAPID: Reusing Attention Sparsity with Inter-step Adaptation for Efficient Video Diffusion
把视频扩散中 3D 注意力的稀疏模式当作可缓存的时序稳定信号：在生成早期做一次注意力块重要性估计并缓存稀疏掩码，后续步骤直接复用，从而免去逐步重算的开销；这套「一次性估计 + 跨步复用」思路可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。
PyramidalWan：让预训练视频模型金字塔化以实现高效推理
PyramidalWan: On Making Pretrained Video Model Pyramidal for Efficient Inference
把已预训练的视频扩散模型通过低成本微调改造成金字塔式多分辨率去噪结构，可直接复用于任何多步扩散采样器以降低推理算力；其金字塔内步数蒸馏策略对比也为少步视频生成提供可借鉴的加速路线。
物理仿真器在环的视频生成
Physical Simulator In-the-Loop Video Generation
将物理仿真器嵌入视频扩散采样回路，用仿真轨迹约束生成时空运动，并用测试时纹理一致性优化（TTCO）基于像素对应调整文本与特征嵌入，为提升生成视频的物理合理性提供了可复用范式。
PhyCo：学习可控物理先验用于生成式运动
PhyCo: Learning Controllable Physical Priors for Generative Motion
用像素对齐的物理属性图（摩擦、弹性、形变、力）作为 ControlNet 条件，把物理参数变成视频扩散模型的可控输入；再用微调后的 VLM 对生成视频做物理问答式打分作为可微奖励，这套「属性图条件 + VLM 奖励」范式可直接迁移到其他需要物理可信度的视频生成任务。
PAM：面向仿真到现实手物交互视频生成的姿态-外观-运动引擎
PAM: A Pose-Appearance-Motion Engine for Sim-to-Real HOI Video Generation
把手物交互的位姿、外观、运动统一进一个可控视频生成引擎，并用生成视频作为合成数据反哺下游手部姿态估计，为视觉研究者提供了「生成即数据增强」的闭环范式，以及深度/分割/关键点多条件输入的具体消融结论。
NIL：无数据模仿学习
NIL: No-data Imitation Learning
用预训练视频 ViT 的嵌入相似度加分割掩码相似度构造无判别器的模仿奖励，把 2D 生成视频当作 3D 物理仿真中技能学习的视觉监督信号，为视觉表征直接驱动具身控制提供了可复用范式。
MusicInfuser：让视频扩散模型听懂音乐并起舞
MusicInfuser: Making Video Diffusion Listen and Dance
提出基于引导式构造影响函数的逐层可适配性准则，可在单卡一天内把预训练文生视频扩散模型对齐到音乐条件，为视觉研究者提供一种低成本、保留先验的扩散模型新条件模态适配范式。
MotionV2V：在视频中编辑运动
MotionV2V: Editing Motion in a Video
把「运动编辑」显式参数化为输入/输出稀疏轨迹之间的偏差，并用构造的运动反事实视频对微调运动条件扩散模型，为视频编辑提供了一条可复用路径：用轨迹级控制信号替代文本提示来精确操控运动，且编辑可从任意时间戳起始并自然传播。
MotionEnhancer：利用视频扩散模型增强视觉语言模型的运动理解能力
MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models
把视频扩散模型内部对动态运动敏感的注意力当作先验，通过注意力对齐蒸馏进 VLM，且完全免训练、免改结构——做视频 VLM 的人可以直接复用这套「从生成模型借运动先验」的思路来补细粒度运动理解。
MoCha：无需结构引导的端到端视频角色替换
MoCha: End-to-End Video Character Replacement without Structural Guidance
把视频扩散模型自身的时序跟踪能力当作隐式结构先验，从而摆脱逐帧掩码与骨架/深度等显式结构引导，只需单帧任意掩码即可完成角色替换；条件感知 RoPE 与 RL 后训练可迁移到其他多模态条件注入的身份保持生成任务。
关注生成细节：面向视频扩散模型的直接局部细节偏好优化
Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models
提出一种基于局部时空区域构造偏好对的后训练对齐方法，仅需单次推理即可生成偏好数据，无需外部评价模型，可复用于视频扩散模型的人类偏好对齐，提升生成保真度和时序一致性。
MAD：面向高效驾驶世界模型的运动-外观解耦
MAD: Motion Appearance Decoupling for efficient Driving World Models
把视频扩散模型拆成「先预测骨架化运动、再渲染 RGB 外观」两阶段，用极少量监督和算力把通用视频模型改造成可控驾驶世界模型；做视频生成或驾驶仿真的研究者可直接复用这种运动-外观解耦的适配范式与文本/自车/物体控制接口。
基于光照的视频生成：以渲染器为支撑的智能体推理
Lighting-grounded Video Generation with Renderer-based Agent Reasoning
把布局、光照、相机轨迹等显式3D场景属性通过渲染器转成控制信号，再用轻量条件模块注入视频扩散模型，为可控视频生成提供了可复用的解耦条件注入范式；其场景智能体把高层指令翻译成3D控制信号的思路也可迁移到其他条件生成任务。
利用合成运动数据学习生成高动态视频
Learning to Generate Highly Dynamic Videos using Synthetic Motion Data
用渲染光流作为与外观解耦的运动监督信号，训练视频扩散模型学习真实数据中稀缺的剧烈运动与精确相机运动控制，可直接迁移到任何需要细粒度运动条件的视频生成管线。
InstantViR：基于蒸馏扩散先验的实时视频逆问题求解器
InstantViR: Real-Time Video Inverse Problem Solver with Distilled Diffusion Prior
把双向视频扩散教师蒸馏成因果自回归学生，单次前向即可完成视频修复，无需测试时迭代优化；这套「先验驱动蒸馏 + 轻量变分自编码器」的范式可直接迁移到其他需要实时推理的扩散先验逆问题求解器。
HorizonForge：任意轨迹与任意车辆的驾驶场景编辑
HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles
把驾驶场景重建为可编辑的高斯泼溅与网格，再用噪声感知的视频扩散做前馈渲染，为需要精确轨迹/车辆控制的可控视频生成提供了「3D 表示 + 视频扩散先验」的可复用范式。
组编辑：一次编辑多张图像
Group Editing: Edit Multiple Images in One Go
将图像组视为伪视频，利用预训练视频模型的时序一致性先验，并通过 VGGT 提取显式几何对应进行融合，为多图一致编辑提供了可复用的技术路线。
由视频扩散模型提供目标驱动奖励的强化学习
Goal-Driven Reward by Video Diffusion Models for Reinforcement Learning
把预训练视频扩散模型的视频编码器潜变量与生成目标视频的对齐度当作奖励，并用 CLIP 从生成视频中挑出目标帧、再以前向后向表征给出帧级奖励——这套「用生成模型当奖励函数」的流程可直接迁移到视觉驱动的机器人操作与导航任务中，替代人工设计的程序化奖励。
基于视频扩散先验的生成式神经视频压缩
Generative Neural Video Compression via Video Diffusion Prior
把视频扩散 Transformer 的流匹配去噪先验迁移到压缩潜变量的序列级精修上：从解码潜变量而非纯噪声初始化，并学习一个修正项来适配压缩退化，这一「以退化潜变量为起点的少步精修」思路可直接复用于超分、去压缩伪影等低层复原任务。
Gen3R：三维场景生成与前馈重建的结合
Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction
把 VGGT 这类前馈重建模型当作几何编码器，用适配器把其 token 对齐到视频扩散模型的外观潜空间，从而在同一个扩散过程里同时生成 RGB 视频与相机位姿、深度、点云；对做 3D 生成的人，这是一条「复用重建基础模型当几何先验」的现成路径，对做重建的人则提示可用生成先验提升鲁棒性。
基于层自适应分布外校正的免训练长视频生成
Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction
针对预训练短片段视频扩散模型在长视频推理时的分布外问题，提出免训练的分层自适应校正框架，包含视频相对位置重编码和分层稀疏注意力，可直接用于提升现有视频扩散模型的长视频生成质量。
FlashPortrait：基于自适应潜变量预测的6倍速无限肖像动画
FlashPortrait: 6x Faster Infinite Portrait Animation with Adaptive Latent Prediction
提出基于高阶潜变量导数的未来步预测方法，可跳过多个去噪步实现6倍加速，该技术可迁移到其他扩散模型加速场景；同时归一化表情块与动态滑动窗口策略为长视频生成中的身份一致性提供了可复用方案。
FlashDecoder：基于 Transformer 的实时潜变量到像素流式解码器
FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers
把视频 VAE 的解码器从 3D 卷积换成带滚动 KV 缓存的纯 Transformer，实现定长时序窗口下的逐帧流式解码，可直接替换现有潜视频扩散模型的解码环节，在 1080p 长视频上同时降低延迟与显存。
FISHuman：基于多视图 4D 重拓扑的细粒度单图三维人体重建
FISHuman: Fine-grained Single-image 3D Human Reconstruction via Multi-view 4D Remeshing
把多视图视频扩散模型生成的 RGB/法线序列当作重建先验，再用 4D remeshing 逐顶点跟踪形变、解耦共享规范网格与瞬时变化，从而在多视图不一致的引导下仍能优化出统一 UV 纹理——这套「扩散先验 + 形变跟踪 + UV 融合」的流程可直接迁移到单图物体/人物资产重建与动画管线。
EgoX：从单段第三人称视频生成第一人称视频
EgoX: Egocentric Video Generation from a Single Exocentric Video
将大规模视频扩散模型通过轻量低秩适配迁移到极端视角变换的跨视角视频生成任务，其宽度/通道拼接的条件注入策略与几何引导自注意力机制可复用于新视角合成、视角转换等需要保持几何一致性的生成任务。
EgoControl：基于3D全身姿态的可控第一人称视频生成
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses
把显式3D全身姿态序列作为扩散模型的条件信号，并设计同时编码全局相机运动与关节体运动的姿态表示，为视觉研究者提供了一种可复用的「姿态→视频」控制接口，可用于具身智能中的动作模拟与规划。
DreamShot：基于视频扩散先验的个性化故事板合成
DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior
利用视频扩散先验进行多镜头故事板合成，通过多参考角色条件模块和角色注意力一致性损失显式约束参考与生成角色间的注意力，为可控视频生成中的角色一致性提供可复用技术。
基于行列式点过程引导策略优化的多样化视频生成
Diverse Video Generation with Determinantal Point Process-Guided Policy Optimization
把「一组采样的多样性」写成集合级奖励，用 DPP 对冗余样本施加递减收益、用 GRPO 做组内相对反馈，可直接套到任意 T2V/图像扩散模型的微调阶段，解决同一提示词多次采样结果雷同的问题。
Diff4Splat：复用视频扩散模型进行动态场景生成
Diff4Splat: Repurposing Video Diffusion Models for Dynamic Scene Generation
把视频扩散模型的生成先验直接前馈映射为可变形3D高斯场，单次前向即可从单图+相机轨迹得到动态场景，省去逐场景优化，可作为动态新视角合成与4D内容生成的免优化骨干。
灵巧世界模型
Dexterous World Models
将静态3D场景渲染与第一人称手部网格渲染作为条件输入视频扩散模型，实现动作驱动的场景交互视频生成，为具身交互与数字孪生提供可复用的条件生成框架。
DeltaQuant：基于时空差分平滑的 4 比特视频扩散模型
DeltaQuant: 4-bit Video Diffusion Models with Spatiotemporal Delta Smoothing
DeltaQuant 将视频扩散模型中的激活值按 3D 时空立方体分组，仅对差分词元做 4-bit 量化，核心词元保留 FP8，为视频生成模型在消费级 GPU 上的低比特推理提供了可复用的量化范式。
D2Cache：面向更高视频扩散加速的二阶差分缓存
D2Cache: Second-Order Delta Caching for Higher Video Diffusion Acceleration
D2Cache 提出一种免训练的二阶残差缓存机制，通过利用一阶残差的时序差分（二阶残差）来更准确地预测未来时间步的输出，并基于时间步嵌入估计误差来自适应缩放二阶残差。该技术可直接用于加速视频扩散模型的推理，在 Latte、Open-Sora、LTX-video 和 Wan2.1 上均优于 TeaCache，且在高加速比下增益更大。
面向物理合理视频生成的以事件为中心的因果思维链
Chain of Event-Centric Causal Thought for Physically Plausible Video Generation
把物理现象拆成因果相连的事件单元，再用思维链加物理公式约束推理，并转成时序对齐的视觉-语言提示与关键帧，为视频扩散模型提供可复用的因果进展条件注入方式，可直接迁移到需要长时序物理一致性的视频生成任务。
CamDirector：面向长期连贯的视频轨迹编辑
CamDirector: Towards Long-Term Coherent Video Trajectory Editing
用混合 warping（静态区域渐进融合进 world cache 再按目标位姿渲染、动态区域直接 warp）生成全局一致的粗帧作为扩散精修的条件，可迁移到任何需要精确相机控制与长程一致性的视频生成/新视角合成任务。
BulletTime：视频生成中时间与相机位姿的解耦控制
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
把世界时间与相机轨迹作为独立条件，通过注意力层中的 4D 位置嵌入和自适应归一化注入视频扩散模型，为需要精确相机运镜与慢动作/时间重映射的可控视频生成提供了可复用的条件注入方案。
双向自回归扩散用于大复杂运动插值
Bi-directional Autoregressive Diffusion for Large Complex Motion Interpolation
ARVFI 将自回归生成与扩散模型结合，从两端向中间逐帧插值，并利用 DINOv3 高层语义特征作为运动表示，为视频插值中的大复杂运动提供了一种可复用的时序生成框架。
超越黄金数据：通过时间步选择性训练解决运动-视觉质量困境
Beyond the Golden Data: Resolving the Motion-Vision Quality Dilemma via Timestep Selective Training
对做视频扩散训练的人，这篇给出了一个可直接复用的数据使用策略：不必筛掉运动强但画质差（或反之）的样本，而是按时间步把不同质量倾向的数据分配到模型学习的不同阶段，从而在数据受限时仍能提升生成质量。
注意力手术：一种高效线性化视频扩散 Transformer 的配方
Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
提出一种无需从头训练即可将预训练视频扩散 Transformer 中的 softmax 注意力替换为线性或混合注意力的高效框架，结合蒸馏与微调，显著降低长视频生成的计算成本，为视觉生成模型的高效部署提供可复用方案。
图像到视频模型是优秀的零样本图像编辑器吗？
Are Image-to-Video Models Good Zero-Shot Image Editors?
将预训练的图像到视频扩散模型直接复用为零样本图像编辑器，通过思维链提示词增强、时序潜变量丢弃和自洽后细化三个无需训练的技巧，解决提示词错位、时序潜变量冗余和后期帧模糊问题，为指令驱动的图像编辑提供了新范式。