Tag · 12 篇
长视频生成
Yume1.5:文本控制的交互式世界生成模型
Yume1.5: A Text-Controlled Interactive World Generation Model
统一上下文压缩加线性注意力、以及双向注意力蒸馏,是把扩散视频生成压到实时流式(单卡 A100 上 540p 12fps)的可复用手段,做交互式世界模型或长视频生成的人可以直接借鉴其历史上下文压缩与蒸馏流程。
TempoMaster:通过下一帧率预测实现高效长视频生成
TempoMaster: Efficient Long Video Generation via Next-Frame-Rate Prediction
把长视频生成拆成「先低帧率粗蓝图、再逐级升帧率精修」的层级自回归范式,帧内双向注意力保证并行效率、跨帧率自回归保证长程时序一致,可直接迁移到任何需要长时序一致性的视频扩散/流匹配采样流程中。
Soul:为数字人注入生命,实现高保真长期多模态动画
Soul: Breathe Life into Digital Human for High-fidelity Long-term Multimodal Animation
提出基于Wan2.2-5B骨干的多模态驱动数字人动画框架,通过音频注入层和阈值感知码本替换实现长期一致性,并利用步数/CFG蒸馏与轻量VAE实现11.4倍推理加速,为视频生成中的长时一致性和效率优化提供可复用方案。
全光视频生成
Plenoptic Video Generation
把「多进单出」的视频条件模型以自回归方式串起来,并用相机引导的视频检索从历史生成中挑显著帧做条件,这套「时空记忆+检索式条件」可直接迁移到任何需要跨视角/跨时序一致性的生成式重渲染或长视频生成任务。
One-to-All Animation:免对齐的角色动画与图像姿态迁移
One-to-All Animation: Alignment-Free Character Animation and Image Pose Transfer
把参考图与目标姿态的空间错位问题重构成自监督外绘任务,并用混合参考融合注意力处理变分辨率与动态序列长度,这套思路可直接迁移到任意参考布局下的可控视频生成与身份保持任务。
LoL:比更长更长,将视频生成扩展至小时级
LoL: Longer than Longer, Scaling Video Generation to Hour
针对自回归长视频生成中注意力汇聚帧导致的场景重置问题,提出多头 RoPE 抖动这一免训练手段,打破头间注意力同质化;做流式/无限长视频生成或复用 RoPE 的位置编码方案时可直接借鉴。
InfinityHuman:迈向长期音频驱动的人体动画
InfinityHuman: Towards Long-Term Audio-Driven Human Animation
提出粗到细框架,利用解耦的姿态序列作为稳定视觉锚点来抑制长视频生成中的误差累积,并引入手部特定奖励机制提升手势真实感,可复用于其他长时序人体动画任务。
Infinity-RoPE:动作可控的无限视频生成源自自回归自展开
Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout
把 3D-RoPE 改造成「移动局部参考系」的相对论式编码,配合只保留 sink 与末帧两个锚框 token 的 KV Flush,可在不重训练的情况下把自回归视频扩散的生成时长推到无限,并支持提示词即时响应与多段转场;做长视频生成或 KV 缓存压缩的工作可直接复用这三件套。
HoloCine:电影级多镜头长视频叙事的整体生成
HoloCine: Holistic Generation of Cinematic Multi-Shot Long Video Narratives
窗口交叉注意力把文本提示定位到具体镜头、镜头内稠密镜头间稀疏的自注意力模式,是让长视频生成在分钟级尺度上保持全局一致且算力可控的可复用设计,可直接迁移到任何需要跨片段一致性的长序列生成任务。
基于层自适应分布外校正的免训练长视频生成
Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction
针对预训练短片段视频扩散模型在长视频推理时的分布外问题,提出免训练的分层自适应校正框架,包含视频相对位置重编码和分层稀疏注意力,可直接用于提升现有视频扩散模型的长视频生成质量。
无尽世界:实时 3D 感知长视频生成
Endless World: Real-Time 3D-Aware Long Video Generation
条件自回归训练策略把新生成内容与已有帧对齐,配合全局 3D-aware 注意力注入几何约束,可在单卡实时生成无限长且 3D 一致的视频;这套「对齐已有帧 + 3D 引导」的思路可直接迁移到流式视频生成与长序列扩散采样。
面向高效视频生成的双粒度记忆
Dual-Granularity Memory for Efficient Video Generation
针对循环式视频生成模型的分块处理导致时序不连续问题,提出上下文记忆(sink 列+边界缓冲)与潜变量记忆(跨段检索历史 latent)两种机制,可直接迁移到任何 chunked 自回归/循环视频生成器以提升长程一致性,且无需相机标注或帧重建。