Tag · 30 篇

文本到图像生成

分布 生成模型与扩散13图像编辑与可控生成6数据集与评测4鲁棒性与安全3视觉语言模型23D 视觉与重建1高效模型与推理加速1
01
图像编辑与可控生成 / CVPR2026

VisionDirector:视觉语言引导的闭环优化用于生成式图像合成

VisionDirector: Vision-Language Guided Closed-Loop Refinement for Generative Image Synthesis

提出一种无需训练的视觉语言监督器,通过结构化目标提取、动态决策、微网格采样与语义验证回滚,实现长指令下的闭环图像生成与编辑;并利用Group Relative Policy Optimization微调规划器,为可控生成提供可复用的规划与验证框架。

视觉语言模型强化学习文本到图像生成
02
3D 视觉与重建 / CVPR2026

ViHOI:借助视觉先验的人体-物体交互合成

ViHOI: Human-Object Interaction Synthesis with Visual Priors

把大视觉语言模型的多层特征经 Q-Former 适配器压缩成先验 token,作为扩散生成 3D 人体-物体交互运动的条件;视觉研究者可复用这套「VLM 特征→紧凑先验→条件生成」的跨模态条件注入范式,并用文生图合成参考图提升对未见物体的泛化。

扩散模型视觉语言模型Q-Former-适配器
03
视觉语言模型 / CVPR2026

UniVerse:以推理与知识赋能统一生成

UniVerse: Empower Unified Generation with Reasoning and Knowledge

把「隐式提示→推理链→显式提示」的三元组监督引入统一多模态模型的 T2I 训练,为视觉研究者提供了一条用中间推理链提升生成模型组合性与知识性的可复用数据构造与训练范式。

思维链推理文本到图像生成多模态数据集
04
数据集与评测 / CVPR2026

过于鲜艳而不真实?生成色彩保真度的基准评测与校准

Too Vivid to Be Real? Benchmarking and Calibrating Generative Color Fidelity

提供了一个可复用的色彩保真度评测基准(CFD)与学习式指标(CFM),并利用 CFM 的注意力引导无训练的空间-时间引导尺度调制,可直接用于诊断和修正 T2I 模型在写实风格下的过饱和、过对比偏差。

文本到图像生成色彩保真度评估多模态编码器
05
生成模型与扩散 / CVPR2026

Style-GRPO:由奖励建模引导的语义感知图像风格迁移偏好优化

Style-GRPO: Semantic-Aware Preference Optimization for Image Style Transfer Guided by Reward Modeling

提供了一套可复用的「奖励模型 + 在线 RL」范式:先构建 8 万级空间关系偏好对训练 SpatialScore 奖励模型,再用其驱动 GRPO 式在线强化学习提升扩散模型的空间关系生成能力,可直接迁移到其他需要精确空间布局的可控生成任务。

奖励模型在线强化学习偏好优化
06
图像编辑与可控生成 / CVPR2026

选择性地提取视觉属性并注入文本到图像模型

Selectively Extracting and Injecting Visual Attributes into Text-to-Image Models

通过优化单个文本词元并引入蒸馏/残差双嵌入,把参考图中的形状、材质、姿态、镜头角度等属性解耦后注入 T2I 生成,可作为无需微调模型即可实现属性级可控生成的即插即用手段。

文本到图像生成属性解耦词元优化
07
高效模型与推理加速 / CVPR2026

SJD-PAC:通过主动起草与自适应延续加速推测式 Jacobi 解码

SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation

对做扩散/自回归图像生成的人来说,SJD-PAC 提供了一套无需草稿模型、且严格保持目标分布的推理加速方案:通过主动起草提升高熵区域的局部接受率,并用自适应延续在首次拒绝后继续验证序列,可直接套用到自回归视觉生成器的采样环节以提升吞吐。

推测解码Jacobi-迭代解码免草稿模型加速
08
生成模型与扩散 / CVPR2026

RebRL:以重平衡时间步信用强化离散视觉扩散模型

RebRL: Reinforcing Discrete Visual Diffusion Models with Rebalanced Timestep Credits

针对离散扩散(掩码生成)模型在 RL 微调时各时间步信用分配不均的问题,提出按掩码阶段重新平衡时间步权重的即插即用策略,可直接用于改进视觉生成模型的 RLHF/偏好对齐训练流程,并减少约 40% 训练步数。

离散扩散模型强化学习微调信用分配
09
生成模型与扩散 / CVPR2026

PixelDiT:用于图像生成的像素扩散 Transformer

PixelDiT: Pixel Diffusion Transformers for Image Generation

去掉预训练自编码器、直接在像素空间做扩散,并用 patch 级 + pixel 级双层级 DiT 兼顾全局语义与纹理细节,为做图像生成的人提供了一条避免有损重建与误差累积的单阶段端到端路线,可直接迁移到高分辨率文生图训练。

扩散-Transformer像素空间扩散双层级架构
10
生成模型与扩散 / CVPR2026

OctoT2I:一种自进化的智能体文本到图像路由器

OctoT2I: A Self-Evolving Agentic Text-to-Image Router

提出一种无需人工标注的自进化路由框架,通过PSEL循环自动发现各T2I模型的能力边界,实现质量与效率的联合优化;其知识库构建和路由策略可复用于多模型集成、模型选择等视觉生成任务。

多模型路由自进化机制推理效率优化
11
生成模型与扩散 / CVPR2026

MaskFocus:将策略优化聚焦于掩码图像生成的关键步骤

MaskFocus: Focusing Policy Optimization on Critical Steps for Masked Image Generation

对做掩码生成模型(MaskGIT 类)的研究者,这篇给出了把 RL 后训练落到多步迭代采样上的可行路径:用中间图像与最终图像的相似度定位关键步、只在这些步上算似然做策略优化,并用熵驱动的动态路由采样提升掩码策略探索,可直接迁移到其他迭代式生成器的后训练。

掩码生成模型强化学习后训练策略优化
12
生成模型与扩散 / CVPR2026

ImageRAGTurbo:面向一步文本到图像生成的检索增强扩散模型

ImageRAGTurbo: Towards One-step Text-to-Image Generation with Retrieval-Augmented Diffusion Models

提出在UNet去噪器的潜空间(H-space)中通过交叉注意力融合检索到的文本-图像对,以极低微调成本提升少步/单步扩散模型的提示词保真度,为快速文本到图像生成提供可复用的检索增强适配器方案。

检索增强生成少步扩散交叉注意力
13
生成模型与扩散 / CVPR2026

面向细粒度图像生成的按检测头自适应旋转位置编码

Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation

把标准多维 RoPE 换成按检测头自适应、经 SVD 参数化的可学习旋转映射,可直接作为现有 DiT/Flux 类图像生成主干的位置编码替换件,改善细粒度空间关系与计数能力,且不破坏相对位置性质。

旋转位置编码位置编码扩散-Transformer
14
数据集与评测 / CVPR2026

GenColorBench:面向文本到图像生成的颜色评测基准

GenColorBench: A Color Evaluation Benchmark for Text-to-Image Generation

做文本到图像生成或可控生成时,可直接用 GenColorBench 的 44K 颜色提示词与 ISCC-NBS/CSS3 色彩体系来诊断模型在细粒度颜色(含 RGB 数值色)上的失效模式,并作为颜色遵循度的评测协议复用。

文本到图像生成颜色控制提示词遵循度评测
15
图像编辑与可控生成 / CVPR2026

基础编码器即可实现偏好感知的个性化

Foundation Encoders Are All You Need for Preference-Aware Personalization

把个性化偏好注入完全放在基础编码器(文本编码器/CLIP 编码器)的表征空间里完成,不改扩散主干、不做微调,为个性化生成提供了一条可跨多个 T2I 底座复用的轻量路线;做 personalization 或 adapter 设计时可直接借鉴其「重构 transformer 编码器以融合偏好」的做法。

个性化生成基础编码器免微调适配
16
数据集与评测 / CVPR2026

FailureAtlas:通过主动探索绘制T2I模型的失败景观

FailureAtlas: Mapping the Failure Landscape of T2I Models via Active Exploration

提出主动探索范式替代静态基准评测,通过结构化搜索输入空间发现T2I模型的系统性失败模式,并首次大规模关联训练数据稀缺性,为生成模型鲁棒性评估提供可复用引擎。

主动探索失败模式分析文本到图像生成
17
数据集与评测 / CVPR2026

EMMA:具备全面语义指标与多样类别的概念擦除基准

EMMA: Concept Erasure Benchmark with Comprehensive Semantic Metrics and Diverse Categories

为概念擦除方法提供了一套覆盖隐式提示、视觉相似非目标概念以及性别/族裔偏见的评测协议,做 T2I 安全生成或模型编辑的研究者可直接用其 13 项指标检验方法是否真正从表征中移除概念,而非仅对直接提示失效。

概念擦除文本到图像生成基准评测
18
生成模型与扩散 / CVPR2026

DiffGraph:面向真实场景文本到图像生成的自动化智能体驱动模型合并框架

DiffGraph: An Automated Agent-driven Model Merging Framework for In-the-Wild Text-to-Image Generation

提出基于图结构的自动化模型合并框架,通过节点注册与校准组织在线专家模型,并根据用户需求动态激活子图,为视觉生成中的模型复用与组合提供可扩展方案。

模型合并扩散模型图神经网络
19
生成模型与扩散 / CVPR2026

通过REINFORCE与James-Stein收缩设计实例级采样时间表

Designing Instance-Level Sampling Schedules via REINFORCE with James-Stein Shrinkage

提出一种模型无关的后训练方法,通过单次Dirichlet策略学习实例级采样时间表,并利用James-Stein估计器构建奖励基线以降低梯度方差,可即插即用地提升冻结文本到图像扩散模型的文本对齐和少步生成质量。

扩散采样调度策略梯度奖励基线
20
图像编辑与可控生成 / CVPR2026

ConceptPrism:通过残差词元优化实现个性化扩散模型中的概念解耦

ConceptPrism: Concept Disentanglement in Personalized Diffusion Models via Residual Token Optimization

通过跨图像比较与残差词元优化实现概念解耦,可直接用于个性化 T2I 中抑制参考图像里与用户提示冲突的无关属性,提升概念保真度与文本对齐的平衡。

个性化生成概念解耦词元优化
21
生成模型与扩散 / CVPR2026

概念感知低秩适配用于域对齐的分割数据集生成

Concept-Aware LoRA for Domain-Aligned Segmentation Dataset Generation

CA-LoRA 通过选择性更新与目标域概念(如风格、视角)相关的权重,在微调 T2I 模型时保留预训练知识,从而生成多样且对齐的分割数据集;该思路可复用于其他需要域对齐数据生成的视觉任务,并提升域泛化性能。

低秩适配文本到图像生成数据集生成
22
生成模型与扩散 / CVPR2026

CFG-Ctrl:基于控制的免分类器扩散引导

CFG-Ctrl: Control-Based Classifier-Free Diffusion Guidance

把 CFG 重新解释为对一阶连续时间生成流的控制,并用滑模控制替代线性 P 控制,可直接替换 Stable Diffusion 3.5、Flux、Qwen-Image 等流式扩散模型中的采样引导环节,在大引导尺度下抑制过冲、提升语义对齐。

无分类器引导滑模控制流匹配
23
鲁棒性与安全 / CVPR2026

BlackMirror:基于指令-响应偏差的文本到图像模型黑盒后门检测

BlackMirror: Black-Box Backdoor Detection for Text-to-Image Models via Instruction-Response Deviation

提出一种免训练、可插拔的黑盒后门检测思路:不依赖图像级相似度,而是把生成图像中的局部语义模式与指令对齐,并在多提示下检验偏差稳定性,可直接用于 MaaS 场景下对第三方文生图模型的审计。

后门检测黑盒检测文本到图像生成
24
鲁棒性与安全 / CVPR2026

分数末端的偏差

Bias at the End of the Score

对做 T2I 生成与奖励引导优化(如 RLHF/DRaFT 类微调、数据集筛选)的研究者,这篇审计提示:奖励模型本身携带人口统计偏差,用它做监督信号会系统性地放大性别/种族刻板印象并压缩多样性;在搭建奖励反馈管线时,应把奖励模型的偏差审计与去偏作为必要环节,而非只关注 reward hacking 与模式坍塌。

奖励模型人口统计偏差文本到图像生成
25
图像编辑与可控生成 / CVPR2026

超越文本提示:通过文本-图像协同实现精确概念擦除

Beyond Text Prompts: Precise Concept Erasure through Text-Image Collaboration

TICoE 用连续凸概念流形加分层视觉表征来定位并擦除目标概念,对做可控生成、个性化定制与生成内容安全的人提供了一个可复用的『文本-图像协同』擦除范式,其面向保真度的擦除后可用性评测协议也可直接用于评估编辑类方法是否误伤无关内容。

概念擦除文本到图像生成流形建模
26
生成模型与扩散 / CVPR2026

超越物体:面向细粒度分类的上下文合成数据生成

Beyond Objects: Contextual Synthetic Data Generation for Fine-Grained Classification

BOB 提出了一种微调 T2I 模型以生成高质量合成训练数据的策略:通过类无关属性(背景、姿态)显式条件化并在生成时边缘化,缓解过拟合并保留生成先验,可直接用于低样本细粒度分类的数据增强。

合成数据生成文本到图像生成少样本学习
27
视觉语言模型 / CVPR2026

适配上下文生成以增强组合图像检索

Adapting In-context Generation for Enhanced Composed Image Retrieval

利用预训练文本到图像模型的上下文生成能力,在少样本下合成无偏的组合图像检索三元组,并通过分布鲁棒合成预训练和细粒度真实世界适配两阶段框架提升检索性能,为视觉-语言检索任务提供可复用的数据增强与微调策略。

组合图像检索零样本学习少样本学习
28
生成模型与扩散 / CVPR2026

一个风格只值一个编码:用离散风格空间解锁编码到风格的图像生成

A Style is Worth One Code: Unlocking Code-to-Style Image Generation with Discrete Style Space

把风格压缩成离散码本中的嵌入,再用自回归模型建模其分布,从而用单个数字码控制 T2I 扩散模型生成风格——这套「离散风格码本 + 自回归采样」的范式可直接迁移到个性化生成、风格 LoRA 替代方案等需要可复现、可枚举风格控制的任务。

离散码本自回归生成风格迁移
29
鲁棒性与安全 / CVPR2026

一种具有跨模态和跨任务效用保证的视觉语言模型去偏闭式解

A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

提出一种无需训练、无需标注数据的闭式去偏方法,可同时去偏视觉和文本模态,在保持任务性能的同时实现帕累托最优公平性,可直接用于零样本图像分类、文本到图像检索和生成等视觉任务。

去偏方法闭式解帕累托最优
30
图像编辑与可控生成 / CVPR2026

以3D空间为草稿本的可编辑文本到图像生成

3D Space as a Scratchpad for Editable Text-to-Image Generation

把文本到图像生成中的空间推理外化为可编辑的3D网格场景,再渲染回图像域作为身份保持线索,为可控生成提供了一条不依赖2D布局、支持3D编辑且编辑结果能可靠传导到最终图像的思路。

三维场景布局视觉语言模型文本到图像生成