Tag · 47 篇
视频生成
WaTeRFlow：通过流一致性实现水印的时序鲁棒性
WaTeRFlow: Watermark Temporal Robustness via Flow Consistency
针对图像到视频（I2V）生成后水印检测失效的问题，提出用光流对齐加时序一致性损失来稳定逐帧水印预测，并借助视频扩散代理模型在训练中模拟真实失真；做生成内容溯源或水印鲁棒性评测的视觉研究者可直接复用这套训练与评测设定。
视频即答案：用联合 GRPO 预测并生成下一个视频事件
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO
提出 Joint-GRPO 强化学习框架，将视觉语言模型与视频扩散模型联合优化，使 VLM 生成利于可视化的描述，VDM 生成与描述和视觉上下文一致的视频，为多模态推理与生成一体化提供可复用范式。
通过可平移 RGB-A 分布学习器生成稳定透明度的视频
Video Generation with Stable Transparency via Shiftable RGB-A Distribution Learner
通过可平移的 RGB-A 分布学习，在 VAE 训练中引入透明度感知的双向扩散损失，并在噪声空间平移采样均值与高斯椭圆掩码，为透明视频生成提供稳定且可控的扩散采样策略。
VecAttention：面向长上下文推理加速的向量级稀疏注意力
VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference
对做长视频理解或视频生成的视觉研究者，这篇论文提供了一个可直接替换全注意力的向量级稀疏注意力方案：利用视频注意力图的垂直向量稀疏模式，配合轻量重要向量选择与定制稀疏核，在 VideoMME、LongVideoBench、VBench 等任务上以约 2.65 倍加速保持精度，可作为长上下文视频模型推理加速的通用组件。
VISTA：一种测试时自改进的视频生成智能体
VISTA: A Test-Time Self-Improving Video Generation Agent
把视频生成的质量提升从改模型转到改提示词：用多智能体在测试时迭代重写提示词，并用成对锦标赛选出最优样本，这套「生成—评估—反思—重写」的闭环可直接套用到任何黑盒视频或图像生成器上做免训练增强。
VDOT：通过最优传输蒸馏实现高效统一视频创作
VDOT: Efficient Unified Video Creation via Optimal Transport Distillation
将最优传输距离引入分布匹配蒸馏，替代KL散度以缓解少步生成中的梯度崩溃问题，为扩散模型加速提供可复用的训练目标设计。
UnityVideo：面向世界感知视频生成的统一多模态多任务学习
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
将分割掩码、人体骨架、DensePose、光流、深度图等多种异构模态作为统一条件输入视频扩散模型，并用动态加噪统一不同训练范式、用模态切换器+上下文学习器实现模块化参数共享，为视觉研究者提供了一套可复用的多模态条件注入与跨模态泛化方案。
面向快速视频生成的转移匹配蒸馏
Transition Matching Distillation for Fast Video Generation
把扩散/流模型的骨干网络拆成「主骨干 + 轻量 flow head」，在每个外层转移步内用 flow head 做多次内层流更新，再配合分布匹配蒸馏，可作为一种通用的少步蒸馏结构复用到图像或视频扩散加速上。
借助三维基础先验实现真实且一致的环绕视角视频生成
Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors
把 3D 基础生成模型的潜变量特征（全局潜向量 + 体特征投影的潜图像）通过多尺度 3D 适配器以跨注意力注入视频扩散模型，为长程视角外推（如背面合成）提供完整形状约束，避免显式网格提取；这套「3D 先验条件化视频生成」的接口设计可直接迁移到新视角合成与环绕视角视频生成任务。
TGT：面向局部可控视频生成的文本接地轨迹
TGT: Text-Grounded Trajectories for Locally Controlled Video Generation
把点轨迹当作直观的运动句柄，并与局部文本配对，通过位置感知交叉注意力注入扩散/流模型，为视频生成提供细粒度、多目标的局部运动与外观控制；双CFG分别调节局部与全局文本引导的思路可直接迁移到其他条件控制生成任务。
SymphoMotion：联合控制相机运动与物体动态的连贯视频生成
SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
把相机位姿与物体级 3D 轨迹作为解耦条件注入视频扩散模型，为可控视频生成提供了「相机运动 vs 物体运动」分离建模的可复用范式，并配套 RealCOD-25K 真实配对数据可用于训练与评测。
StereoWorld：几何感知的单目到立体视频生成
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
把预训练视频生成器改造成单目到立体的生成器，并用几何感知正则化显式约束视差结构，对做视频生成、立体内容生产、以及想在生成过程中注入3D几何先验的人可直接复用。
Stand-In：一种轻量且即插即用的视频生成身份控制方法
Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation
通过受限自注意力与条件位置映射把条件图像分支注入预训练视频生成模型，仅用约1%额外参数即可实现身份可控生成，为视觉研究者提供了一种低成本、可复用的个性化/换脸/姿态参考视频生成控制接口。
Spatia：具有可更新空间记忆的视频生成
Spatia: Video Generation with Updatable Spatial Memory
将3D点云作为持久空间记忆，通过视觉SLAM迭代更新，为视频生成提供几何约束，可复用于长视频生成中的空间一致性保持与相机控制。
SoliReward：缓解视频生成奖励模型对奖励攻击与标注噪声的敏感性
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models
为视频生成模型的偏好对齐提供了一套可复用的奖励模型训练范式：用单条二值标注加跨提示配对构造偏好数据，用分层渐进查询注意力聚合特征，并改造 BT 损失以容纳平局样本、正则化正样本分数分布，从而缓解奖励攻击；做视频生成后训练或构建 VLM 奖励模型时可直接借鉴这套数据与损失设计。
STARFlow-V：基于自回归归一化流的端到端视频生成建模
STARFlow-V: End-to-End Video Generative Modeling with Autoregressive Normalizing Flows
为视觉研究者提供了一条绕开扩散模型的视频生成路线：可逆归一化流在时空潜空间中做自回归因果预测，天然支持似然估计与 T2V/I2V/V2V 统一建模，其 flow-score matching 与视频感知 Jacobi 迭代可直接迁移到其他自回归视频生成器的误差累积与采样加速问题上。
面向不配对测试时分布外文本-图像到视频生成的推理扩散模型
Reasoning Diffusion for Unpaired Test Time Out-of-distribution Text-Image to Video Generation
ReasonDiff 利用多模态 LLM 为不配对文本-图像输入生成逐帧叙事，并通过 AlignFormer 的多阶段时序锚框注意力预测帧级潜变量，为视频扩散模型提供结构化引导，可复用于需要跨模态时序推理的视频生成任务。
ReHyAt：面向视频扩散 Transformer 的循环混合注意力
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
把 softmax 注意力的保真度与线性注意力的效率结合成 chunk 级循环形式，并给出从已有双向 softmax 视频扩散模型蒸馏到混合注意力的低成本配方，可直接用于把长视频生成模型扩展到线性复杂度。
基于整流流 Transformer 的概率性降水临近预报
Probabilistic Precipitation Nowcasting with Rectified Flow Transformers
把 rectified flow transformer 用在潜空间视频预测上，并用逐帧编码器加统一解码器保证时序一致性；这套「保留不确定性的第一阶段压缩 + 潜空间流匹配生成」可以直接迁移到视频预测、时空序列生成等视觉任务，测试时扩展带来的增益也值得在视觉生成里复现验证。
ProPhy：面向动态世界模拟的渐进式物理对齐
ProPhy: Progressive Physical Alignment for Dynamic World Simulation
将视觉语言模型的物理推理能力通过渐进式对齐迁移到视频生成模型中，并利用混合物理专家机制实现细粒度物理条件控制，为物理一致的视频生成提供了可复用的技术路径。
PhysVid：面向生成式视频模型的物理感知局部条件控制
PhysVid: Physics Aware Local Conditioning for Generative Video Models
把物理约束从全局文本提示词下沉到时间连续帧块级的局部条件，并用块感知交叉注意力融合、推理时用负向物理提示词引导采样，这套「局部条件+负向提示」机制可直接迁移到任何以文本为条件的视频扩散模型上提升物理合理性。
P-Flow：以提示词驱动视觉特效生成
P-Flow: Prompting Visual Effects Generation
把视觉语言模型当作奖励/评判器，在测试时迭代优化文本提示词，从而免训练地为视频生成注入高层动态特效；这套「VLM 反馈 + 提示词迭代」的框架可直接迁移到风格化、物理现象模拟等难以用轨迹显式控制的可控生成任务。
基于结构与接触感知表征的开放世界手物交互视频生成
Open-world Hand-Object Interaction Video Generation Based on Structure and Contact-aware Representation
提出一种无需3D标注的结构与接触感知表征（手物接触、遮挡、整体结构上下文），可作为辅助监督信号嵌入视频生成模型，并用共享-特化联合生成范式同时生成表征与视频；对做可控/物理真实视频生成的人，这是一个可复用的表征监督与联合训练思路。
学习信任什么：面向视觉生成的贝叶斯先验引导优化
Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation
把奖励模型的不确定性显式建模为语义先验锚点，并在组间与组内两个层级调制优化信任度，可直接迁移到任何用 GRPO/RLHF 后训练的扩散或视频生成模型上，缓解文本-视觉多对多对应带来的奖励噪声过拟合。
LAMP：语言辅助的运动规划用于可控视频生成
LAMP: Language-Assisted Motion Planning for Controllable Video Generation
用 LLM 做程序合成，把自然语言解析成显式 3D 轨迹（物体运动 + 相机轨迹），再作为视频生成的运动条件；这种「语言→结构化运动程序→确定性轨迹」的中间表示，可复用于任何需要精确运动控制的可控视频生成或相机运镜合成。
视频生成模型的推理时物理对齐：基于潜变量世界模型
Inference-time Physics Alignment of Video Generative Models with Latent World Models
把潜变量世界模型（VJEPA-2）当作奖励，在推理阶段搜索并引导多条去噪轨迹，为视频生成提供了一种无需重训练、可扩展测试时计算的物理合理性对齐手段，可直接迁移到其他生成模型的后处理与采样策略中。
HVG-3D：打通真实与仿真域的三维条件手物交互视频合成
HVG-3D: Bridging Real and Simulation Domains for 3D-Conditional Hand-Object Interaction Video Synthesis
将 3D ControlNet 接入扩散视频生成主干，用显式三维几何与运动线索替代 2D 控制信号，为视觉研究者提供了一条把仿真 3D 数据与真实单图结合、实现时空可控视频合成的可复用路径。
Goal Force：教视频模型完成物理条件化的目标
Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals
把力向量与中间动力学作为条件信号注入视频生成模型，使其充当隐式神经物理模拟器；这一条件化范式可迁移到需要物理一致性的视频预测与机器人规划任务中。
GenieDrive：面向物理感知驾驶世界模型的4D占用引导视频生成
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
将4D占用作为物理先验引导视频扩散生成，并设计潜变量三平面VAE压缩高分辨率占用，为自动驾驶世界模型提供可复用的物理感知生成框架。
GenHOI：面向对象一致的手物交互，采用时序均衡与空间选择性的对象注入
GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection
Head-Sliding RoPE 通过给参考 token 分配头级时序偏移来缓解 3D RoPE 的时序衰减，这一技巧可直接迁移到任何以参考图做长视频主体一致性的生成/编辑模型；两级空间注意力门控则提供了「只在交互区域增强条件、保留背景真实感」的可复用条件注入方案。
GaussFusion：用几何感知视频生成器改进野外 3D 重建
GaussFusion: Improving 3D Reconstruction in the Wild with A Geometry-Informed Video Generator
把 3DGS 渲染出的深度/法线/不透明度/协方差缓冲当作条件输入，用视频到视频生成器做时序一致的后处理精修，可即插即用地接在优化式与前馈式重建管线之后，为消除浮点、闪烁与位姿误差伪影提供了一条通用思路。
FlowMotion：面向视频运动迁移的免训练流引导
FlowMotion: Training-Free Flow Guidance for Video Motion Transfer
对做视频生成的人，这篇给出了一个免训练的运动控制手段：直接拿 flow-based T2V 模型早期潜变量预测当运动表征，省掉额外构造中间引导的开销；速度正则化稳定优化的做法也可迁移到其他采样期引导任务。
首帧是视频内容定制的关键
First Frame Is the Place to Go for Video Content Customization
揭示视频生成模型将首帧作为概念记忆缓冲区的隐式机制，为参考引导的视频内容定制提供了一种无需架构改动、仅需20-50个训练样本的少样本微调思路，可复用于个性化视频生成与编辑任务。
FastLightGen：更少步数与参数的高效轻量视频生成
FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters
把「少步采样蒸馏」与「参数剪枝」放进同一个教师-学生框架里联合优化，并指出先构造一个最优教师模型是关键；做视频扩散加速时可以直接复用这套联合蒸馏流程与 4 步 + 30% 剪枝的配置经验。
FaceCam：通过尺度感知条件实现肖像视频相机控制
FaceCam: Portrait Video Camera Control via Scale-Aware Conditioning
提出一种人脸定制的尺度感知相机表示，无需3D先验即可实现确定性的相机条件控制，可复用于其他需要精确相机轨迹控制的视频生成任务，避免几何失真。
ExPose：强化视频生成模型以实现极端姿态估计
ExPose: Reinforcing Video Generation Models for Extreme Pose Estimation
用 GRPO 偏好优化把视频生成模型的插帧结果对齐到 3D 一致的监督信号，可作为把生成式插帧当作数据增强/视角补全手段时消除空间不一致的通用做法。
EvoID：面向身份保持视频生成的强化演化
EvoID: Reinforced Evolution for Identity-Preserving Video Generation
把身份保持视频生成从静态模仿学习改写为强化学习自演化过程，用「客观指标 + MLLM 整体质量评估」构成双路动态奖励，并用冻结教师锚定学生模型；做视频生成后训练或奖励设计的工作可直接借鉴这套奖励组合与教师锚定策略。
Ego-InBetween：在第一人称视频中生成物体状态转移
Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos
把「初始态→目标态」的中间帧生成显式建模为多步状态转移，并用 VLM 推断转移步骤作为生成条件，为视频生成中的长程物理一致性提供了一条可复用的「先推理后生成」范式。
DriveLaW：在潜空间驾驶世界中统一规划与视频生成
DriveLaW: Unifying Planning and Video Generation in a Latent Driving World
把视频生成器的潜变量直接接入扩散规划器，让未来预测与轨迹规划共享同一表征，为自动驾驶端到端规划提供了一种「生成即规划」的可复用范式；其潜变量注入与三阶段渐进训练策略也可迁移到其他需要预测-决策耦合的视觉任务。
跨被试脑电到视频重建及超越
Cross-Subject EEG-to-Video Reconstruction and Beyond
SAM-Net 的跨被试对齐思路（中心渐进式对抗 + New2Source 映射）可迁移到其他需要跨域泛化的视觉生成任务，如跨摄像头行人重识别或跨模态视频生成；其 HRT 编码器对多通道时序信号的区域引导交互设计，对处理多传感器时序数据有参考价值。
面向高效视频扩散的内容感知动态图像块划分
Content-Aware Dynamic Patchification for Efficient Video Diffusion
把「固定图像块划分」换成由轻量 router 从 3D VAE latent 预测每个时空区域的 patch 大小，并配可学习的 patchify/unpatchify 层，可直接插到现有 DiT 骨干上；做视频/图像扩散加速时，这是一个无需改架构就能减少词元数的即插即用方案，其注意力引导的显著性对齐损失也可迁移到其他词元压缩方法。
Captain Safari：具有位姿对齐3D记忆的世界引擎
Captain Safari: A World Engine with Pose-Aligned 3D Memory
提出位姿对齐的持久世界记忆与检索器，为长时程、6-DoF可控视频生成提供可复用机制；OpenSafari数据集与几何/运动学验证流程可用于评估相机轨迹跟随与3D一致性。
AutoCut：基于多模态离散化与可控生成的端到端广告视频编辑
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
把视频、音频用残差向量量化离散成与文本对齐的统一词元，再用多模态大语言模型自回归预测词元序列来驱动视频剪辑与生成，为视觉研究者提供了一条「离散词元 + 语言模型」做长视频可控编辑的可复用路线。
AnyID：从任意视觉参考生成超高保真通用身份保持视频
AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References
提出统一异构身份输入（人脸、肖像、视频）的全参考架构与主参考生成范式，结合差分提示词实现属性级可控性，并用人类偏好数据做强化学习微调，为身份保持视频生成提供了可复用的多参考融合与可控生成思路。
Anti-I2V：保护你的照片免受恶意图像到视频生成侵害
Anti-I2V: Safeguarding your Photos from Malicious Image-to-video Generation
针对 DiT 架构的视频扩散模型提出跨骨干的对抗扰动防御，在 L*a*b* 与频域联合优化噪声，并定位去噪过程中语义特征最强的网络层来设计训练目标，可直接迁移到图像/视频生成模型的版权保护与防滥用攻击设计。
AdapTok：在一维潜空间中学习自适应且时序因果的视频分词
AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space
提出一种内容感知的视频分词器，通过块因果评分器和整数线性规划在总预算内动态分配每帧词元数，可直接用于视频生成模型的前端，提升词元效率与重建质量。
面向视角自适应人体视频生成的3D感知隐式运动控制
3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
提出一种隐式、视角无关的运动表示，通过与预训练视频生成器联合训练运动编码器，实现文本驱动的相机控制和新视角合成，为可控人体视频生成提供了不依赖显式3D模型的新思路。