Tag · 6 篇

多模态条件控制

分布图像编辑与可控生成4生成模型与扩散1医学影像与生物视觉1

PROMO: Promptable Outfitting for Efficient High-Fidelity Virtual Try-On

把虚拟试衣重新表述为结构化图像编辑问题，用 Flow Matching DiT 骨干网络加潜空间多模态条件拼接，并通过自参考机制减少采样步数与推理开销，为需要强主体保持与纹理迁移的可控生成任务提供了可复用的条件注入与加速思路。

Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

动态记忆库（Memory Bank）机制为长序列生成中的视觉漂移问题提供了可复用的思路，可迁移到视频生成、漫画/分镜生成等需要跨场景一致性的任务；其多阶段渐进训练策略也展示了在有限数据下复用预训练模型做细粒度控制的方法。

MMFace-DiT: A Dual-Stream Diffusion Transformer for High-Fidelity Multimodal Face Generation

双流 Transformer 块用共享 RoPE 注意力并行处理空间 token（掩码/草图）与语义 token（文本），避免模态主导，可直接迁移到任何需要同时满足文本语义与结构先验的可控生成任务；Modality Embedder 让单一模型免重训适配不同空间条件，是统一多条件控制的可复用思路。

FEAT: Fashion Editing and Try-On from Any Design

Disentangled Dual Injection 的内容/风格解耦注入与 Orthogonal-Guided Noise Fusion 的正交投影去残留衣物+区域化噪声策略，是可复用到其他「保留身份/去除旧内容」的可控生成任务（如换装、换背景、局部重绘）的免训练手段。

ChangeBridge: Spatiotemporal Image Generation with Multimodal Controls for Remote Senisng

扩散桥（diffusion bridge）用给定前事件图像作为起点替代噪声初始化，并用像素级漂移图区分事件变化与时序变化，这一「从观测状态出发、按漂移量差异化生成」的框架可直接迁移到视频预测、时序遥感与变化检测的数据增广。

Any2Any 3D Diffusion Models with Knowledge Transfer: A Radiotherapy Planning Study

把预训练视频扩散骨干的时空先验迁移到体素级 3D 预测任务上，并用「模态+角色」感知的 Any2Any 条件接口替代交叉注意力，为视觉研究者提供了一个可复用的思路：如何在不改动骨干结构的前提下，把异构条件（图像、掩码、束流描述符）统一注入扩散模型，并用奖励后训练对齐领域偏好。