Tag · 7 篇

图像到视频生成

分布生成模型与扩散3图像编辑与可控生成2数据集与评测1鲁棒性与安全1

What Are You Doing? A Closer Look at Controllable Human Video Generation

为可控人体图像到视频生成提供了细粒度基准与改进后的评测指标，做人体视频生成或动作可控生成的研究者可直接用它诊断模型在动作、交互、运动等 9 个维度上的短板，而不必再依赖 TikTok、TED-Talks 这类多样性不足的旧数据。

RunawayEvil: Jailbreaking the Image-to-Video Generative Models

针对图像到视频生成模型，给出一种可复用的多模态越狱攻击范式：用强化学习与 LLM 自动搜索文本指令与图像篡改的协同组合，可作为评估 I2V 系统安全对齐的自动化红队工具，也提示防御方需同时约束视觉与文本两条条件通路。

Let Your Image Move with Your Motion! -- Implicit Multi-Object Multi-Motion Transfer

把扩散注意力本身当作物体掩码的来源，用物体特定掩码约束注意力，使运动 token 与文本 token 只作用于指定区域，这一「注意力即掩码」的思路可直接迁移到多主体视频编辑、组合式可控生成等需要区域解耦的任务。

Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance

对做图像到视频生成的人，这是一个无需训练、只改采样过程的插件：在去噪早期对条件图像施加自适应低通滤波，抑制高频细节导致的静态捷径，可直接套用到任意 I2V 模型的采样循环中以提升运动幅度。

FlexTraj: Image-to-Video Generation with Flexible Point Trajectory Control

用带时序一致轨迹 ID 与分割 ID 的点表示作为统一控制信号，并通过序列拼接而非 ControlNet 注入条件，为图像到视频生成提供对齐无关的稠密/稀疏轨迹控制，可直接复用于运动克隆、拖拽式生成与相机重定向等可控视频任务。

EchoVDiff: Cardiac-Cycle Echocardiography Video Generation from Arbitrary Single Frame

提出相位感知扩散模型，在解耦潜空间中联合建模时序节律与空间语义，实现从任意单帧重建完整心动周期视频；其将生理先验融入扩散范式、解耦潜空间的设计思路可迁移至其他周期性或结构化视频生成任务。

ConsID-Gen: View-Consistent and Identity-Preserving Image-to-Video Generation

用无位姿辅助视角增强首帧、经双流视觉-几何编码器与文本-视觉连接器融合语义与结构线索，为 Diffusion Transformer 提供统一条件，可直接借鉴到任何需要多视角一致性的条件视频生成任务中。