Tag · 6 篇
自回归视频生成
全光视频生成
Plenoptic Video Generation
把「多进单出」的视频条件模型以自回归方式串起来,并用相机引导的视频检索从历史生成中挑显著帧做条件,这套「时空记忆+检索式条件」可直接迁移到任何需要跨视角/跨时序一致性的生成式重渲染或长视频生成任务。
LoL:比更长更长,将视频生成扩展至小时级
LoL: Longer than Longer, Scaling Video Generation to Hour
针对自回归长视频生成中注意力汇聚帧导致的场景重置问题,提出多头 RoPE 抖动这一免训练手段,打破头间注意力同质化;做流式/无限长视频生成或复用 RoPE 的位置编码方案时可直接借鉴。
几何作为上下文:在场景一致视频生成中调制显式3D以构建几何上下文
Geometry-as-context: Modulating Explicit 3D in Scene-consistent Video Generation to Geometry Context
将显式3D几何作为上下文信号,通过自回归视频生成模型迭代完成几何估计与新视角恢复,为场景一致视频生成提供可复用框架;相机门控注意力模块可增强相机位姿控制。
无尽世界:实时 3D 感知长视频生成
Endless World: Real-Time 3D-Aware Long Video Generation
条件自回归训练策略把新生成内容与已有帧对齐,配合全局 3D-aware 注意力注入几何约束,可在单卡实时生成无限长且 3D 一致的视频;这套「对齐已有帧 + 3D 引导」的思路可直接迁移到流式视频生成与长序列扩散采样。
视频扩散模型中的因果性可与去噪分离
Causality in Video Diffusers is Separable from Denoising
把视频扩散模型中的时序因果推理与多步去噪解耦:用因果 Transformer 编码器每帧只做一次时序建模,再用轻量扩散解码器做逐帧多步渲染,可直接迁移到自回归视频扩散的加速与架构改造。
BAgger:用于缓解自回归视频扩散模型漂移的反向聚合方法
BAgger: Backwards Aggregation for Mitigating Drift in Autoregressive Video Diffusion Models
针对自回归视频扩散模型的曝光偏差问题,BAgger 用模型自身 rollout 构造纠错轨迹,并以标准 score/flow matching 目标训练,无需少步蒸馏或长链 BPTT;做长视频自回归生成或世界模型时可作为缓解误差累积的通用训练策略。