Tag · 24 篇
无分类器引导
UniAVGen:基于非对称跨模态交互的统一音频与视频生成
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
提出非对称跨模态交互机制与模态感知无分类器引导,可复用于任何需要时空对齐的多模态生成任务(如视频配音、说话人脸生成),其双分支 DiT 架构与 Face-Aware 调制为视觉-音频联合建模提供了新思路。
思考扩散:惩罚与引导扩散多模态语言模型中的视觉定位推理
Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
针对扩散多模态大模型在思维链推理中过早生成答案且视觉定位不足的问题,提出位置与步数惩罚(PSP)和视觉推理引导(VRG),可复用于其他并行生成式多模态模型的推理增强。
通过空文本嵌入优化实现文本到图像扩散模型的测试时对齐
Test-Time Alignment of Text-to-Image Diffusion Models via Null-Text Embedding Optimisation
把测试时对齐的作用点从潜变量或噪声改到无分类器引导的无条件文本嵌入上,利用文本嵌入空间的语义结构约束优化轨迹,可直接复用到任何需要奖励微调或偏好对齐的扩散采样流程中,并缓解奖励攻击。
时间均衡平均流:弥合一步生成的尺度差距
Temporal Equilibrium MeanFlow: Bridging the Scale Gap for One-Step Generation
TEMF 通过时间均衡加权和动态边界调度器解决了 MeanFlow 在一步生成中的时间尺度不平衡问题,使一步生成达到 SOTA FID,为视觉生成任务提供了无需改变架构的稳定训练策略。
语义上下文很重要:改进自回归模型的条件控制
Semantic Context Matters: Improving Conditioning for Autoregressive Models
把语义条件从解码阶段的稀疏视觉 token 注入提前到输入阶段的压缩语义预填充,并配合语义对齐引导,可作为即插即用模块迁移到 next-token 与 next-scale 两类自回归生成/编辑框架中。
面向视觉无监督强化学习的显著性引导表征与一致性策略学习
Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning
对做视觉表征与决策结合的研究者,这篇论文给出一个可复用的思路:用显著性引导的动力学预测任务把表征学习与后继度量训练解耦,使视觉URL中的表征聚焦于动力学相关区域;同时把一致性模型(快速采样)与无分类器引导引入技能条件策略,用于建模多模态动作分布,可直接迁移到视觉条件策略学习与技能可控生成。
PureCC:面向文本到图像概念定制的纯学习
PureCC: Pure Learning for Text-to-Image Concept Customization
提出解耦学习目标与双分支训练流程,在注入个性化概念的同时显式约束原模型行为漂移,并给出自适应引导尺度 l*;做个性化生成或微调扩散模型时可直接借鉴其「冻结提取器提供隐式引导 + 可训练流模型保留原条件预测」的结构来缓解灾难性遗忘。
PoseAnything:具有部件感知时序一致性的通用姿态引导视频生成
PoseAnything: General Pose-guided Video Generation with Part-aware Temporal Coherence
把任意骨架(含非人类角色)作为运动条件注入视频扩散模型,并用部件级跨帧交叉注意力维持细粒度一致性;其解耦主体/相机运动的 CFG 正负锚点注入方式可直接迁移到其他可控视频生成任务中实现独立相机控制。
改进的 MeanFlow:论快进生成模型的挑战
Improved Mean Flows: On the Challenges of Fastforward Generative Models
把 MeanFlow 的训练目标改写为对瞬时速度 v 的回归(网络仍预测平均速度 u),并把引导尺度作为显式条件变量做 in-context 条件化,使一步生成模型在测试时可自由调节引导强度;做少步/一步扩散或流匹配采样的人可直接复用这一目标重参数化与条件化引导设计。
Harmony:通过跨任务协同实现音视频生成和谐化
Harmony: Harmonizing Audio and Video Generation through Cross-Task Synergy
提出跨任务协同训练与SyncCFG,可迁移到视频生成中增强跨模态对齐;全局-局部解耦交互模块为时序细粒度对齐提供高效注意力设计思路。
以扩散 Transformer 自身的内部动态引导其生成
Guiding a Diffusion Transformer with the Internal Dynamics of Itself
提出一种无需额外训练或采样步数的引导方式:训练时对中间层加辅助监督,采样时对中间层与深层输出做外推,可直接替换或叠加 CFG 用于 DiT 类扩散模型,在低训练轮次下显著降低 FID。
通过交换词元引导扩散模型
Guiding a Diffusion Model by Swapping Its Tokens
把 CFG 的「条件-无条件」差分替换为「干净预测-词元交换扰动预测」的差分,使无条件和条件扩散模型都能在推理阶段获得保真度提升,且无需训练、可直接插入任意扩散模型。
引导 token 稀疏扩散模型
Guiding Token-Sparse Diffusion Models
对在稀疏 token 上训练的扩散模型,用 token 级稀疏性替代条件 dropout 作为引导信号,可在推理时以更少 FLOPs 获得更高保真度与条件预测方差,可直接替换现有 CFG 采样流程。
用语义退化条件引导扩散模型
Guiding Diffusion Models with Semantically Degraded Conditions
CDG 提出用语义退化条件替代空提示词作为负样本,为扩散模型引导提供了一种无需训练、即插即用的改进方案,可直接用于提升文本到图像生成的组合准确性和图文对齐。
FARMER:面向像素的流式自回归 Transformer
FARMER: Flow AutoRegressive Transformer over Pixels
把可逆归一化流当作像素到潜变量序列的变换器,再在潜变量上做自回归建模,为视觉生成提供了一条可精确计算似然的像素级生成路线;其中的潜变量通道分组降维与一步蒸馏加速思路,可直接迁移到其他长序列视觉生成模型的效率优化上。
面向扩散图像超分辨率的解耦文本先验
Disentangled Textual Priors for Diffusion-based Image Super-Resolution
把文本先验按空间层级(全局/局部)与频率语义(低频/高频)解耦,并通过专用交叉注意力模块分阶段注入扩散采样过程,这一「解耦先验 + 频率感知负提示」的注入范式可直接迁移到其他条件扩散复原任务(去噪、去模糊、修复)以提升语义可控性。
扩散采样路径透露更多:一种高效的即插即用样本筛选策略
Diffusion Sampling Path Tells More: An Efficient Plug-and-Play Strategy for Sample Filtering
提出用 CFG 过程中条件与无条件分数的累积差异(ASD)作为样本质量的无监督代理指标,可在去噪早期直接拒绝低质量样本,无需外部奖励模型或重训练;做文生图采样加速与质量筛选时可直接嵌入现有采样循环。
扩散强制规划器:面向自动驾驶的历史退火规划与时变引导
Diffusion Forcing Planner: History-Annealed Planning with Time-Dependent Guidance for Autonomous Driving
把扩散模型的分段独立噪声水平与 CFG 结合,用退火历史作为引导信号来抑制时序抖动;做端到端轨迹生成或视频/序列预测的研究者可借鉴这种「历史段与未来段联合去噪」的异构扩散设定。
DeX-Portrait:基于显式与隐式运动表征的解耦且富有表现力的肖像动画
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
把头部姿态建模为显式全局变换、表情建模为隐式潜变量,并通过双分支条件注入扩散模型,为需要解耦控制的人像/视频生成提供了一套可复用的条件注入与引导方案。
DTG-Restore:面向生成式视频超分辨率的免训练扩散精炼
DTG-Restore: Training-Free Diffusion Refinement for Generative Video Super-Resolution
提出解耦时间引导(DTG),在采样时让无条件分支在更干净的扩散时间步上评估,为视频复原提供可复用的无训练先验利用手段,可迁移到其他基于扩散的复原任务。
ConsistCompose:面向图像合成的统一多模态布局控制
ConsistCompose: Unified Multimodal Layout Control for Image Composition
把布局坐标直接嵌入语言提示、并用坐标感知的无分类器引导实现空间控制,为视觉研究者提供了一种无需任务专用分支即可复用到底层生成模型上的布局可控多实例生成方案,同时配套的 3.4M 布局与身份标注数据集可用于训练与评测布局条件生成。
C^2FG:通过分数差异分析控制无分类器引导
C^2FG: Control Classifier-Free Guidance via Score Discrepancy Analysis
把 CFG 的引导权重从固定/启发式改为随扩散时间步指数衰减的控制函数,且免训练、即插即用,可直接替换现有条件扩散采样器中的 guidance 调度,用于提升条件生成质量并与其他引导策略正交叠加。
CRAFT-LoRA:通过秩约束适配与无训练融合实现内容-风格个性化
CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion
把多个 LoRA 权重在推理时无训练地组合起来,并通过秩约束微调让内容与风格落在解耦子空间,可直接用于视觉生成中的多概念个性化与风格迁移;其按时间步调整噪声预测的无分类器引导方案也可迁移到其他扩散采样流程以提升稳定性。
CFG-Ctrl:基于控制的免分类器扩散引导
CFG-Ctrl: Control-Based Classifier-Free Diffusion Guidance
把 CFG 重新解释为对一阶连续时间生成流的控制,并用滑模控制替代线性 P 控制,可直接替换 Stable Diffusion 3.5、Flux、Qwen-Image 等流式扩散模型中的采样引导环节,在大引导尺度下抑制过冲、提升语义对齐。