Tag · 3 篇

多阶段训练

分布 图像编辑与可控生成2视频理解与时序1
01
图像编辑与可控生成 / CVPR2026

Qwen-Image-Layered:通过图层分解实现内在可编辑性

Qwen-Image-Layered: Towards Inherent Editability via Layer Decomposition

把单张 RGB 图分解为多个语义解耦的 RGBA 图层,使编辑只需改动单个图层即可保持其余内容一致;RGBA-VAE 统一 RGB/RGBA 潜变量表示与可变层数 MMDiT 的设计,可直接迁移到需要分层表示的编辑、合成与重渲染流程。

RGBA-图层分解扩散-TransformerVAE-潜空间
02
视频理解与时序 / CVPR2026

视觉-语言对齐辅助的原型动作推理用于第一视角动作预测

Prototypical Action Reasoning Facilitated by Vision-Language Alignment for Egocentric Action Anticipation

将无约束的时序预测转化为由视觉-语言模型学到的解耦动词/名词原型引导的条件预测,这一「语义锚点+原型检索」思路可迁移到其他高不确定性的时序预测任务(如轨迹预测、事件预测)。

第一视角视频视觉语言对齐原型学习
03
图像编辑与可控生成 / CVPR2026

Narrative Weaver:面向多模态条件下的可控长程视觉一致性

Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

动态记忆库(Memory Bank)机制为长序列生成中的视觉漂移问题提供了可复用的思路,可迁移到视频生成、漫画/分镜生成等需要跨场景一致性的任务;其多阶段渐进训练策略也展示了在有限数据下复用预训练模型做细粒度控制的方法。

多模态条件控制长程一致性记忆库