Tag · 6 篇
多模态生成
视觉感知思维链:在统一模型中实现高保真视觉一致性
Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models
将视觉一致性显式纳入统一模型的推理过程,通过自适应视觉规划生成检查清单,并利用迭代视觉修正与流式GRPO强化学习提升多参考生成中的视觉保真度,为可控生成提供了可复用的自反思框架。
一个算法对齐所有:基于 Rectified Flow 的结构对齐联合推理
One Algorithm to Align Them All
提出基于 Rectified Flow 的联合传输方法,可在任意结构化潜变量空间上实现成对样本的结构对齐生成,替代 SDS 用于 3D 生成时速度提升数量级,为图像/视频/3D 的配对生成提供可复用框架。
GaussianDWM:面向统一场景理解与多模态生成的 3D 高斯驾驶世界模型
GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation
把语言特征直接嵌入每个 3D 高斯原语实现早期模态对齐,并用任务感知的语言引导采样把冗余高斯裁剪成紧凑 3D token 送入 LLM——这套「高斯原语承载语义 + 可学习 token 剪枝」的做法可直接迁移到任何需要 3D 场景问答或 3D 条件生成的任务。
FoleyDirector:通过结构化脚本实现视频到音频生成的细粒度时序引导
FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
FoleyDirector 在 DiT 架构上通过结构化时序脚本和时序脚本注意力实现细粒度时序控制,为视觉研究者提供了一种可复用的时序条件注入机制,尤其适用于多事件或视觉线索不足(如小区域、画外音、遮挡)的视频到音频生成场景。
DuetSVG:基于内部视觉引导的统一多模态SVG生成
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
将视觉预测作为解码时的内部引导信号,并配合测试时缩放策略,可迁移到其他需要结构化输出的多模态生成任务(如代码生成、布局生成)中,提升生成结果的几何一致性与视觉合理性。
设计你的广告:基于统一自回归模型的个性化广告图像与文本生成
Design Your Ad: Personalized Advertising Image and Text Generation with Unified Autoregressive Models
把图像与文本放进同一个自回归框架联合生成,并用粗到细的偏好理解模块从噪声多模态历史行为中抽取用户兴趣作为生成条件,为视觉生成中的个性化条件注入提供了可复用的范式;其前景感知模块与产品背景相似度指标也可直接用于电商图像生成的质量控制。