Tag · 5 篇
强化学习对齐
VA-π：面向像素感知自回归生成的变分策略对齐
VA-p: Variational Policy Alignment for Pixel-Aware Autoregressive Generation
将自回归生成器的词元似然优化与像素空间重建质量对齐，通过变分ELBO和强化学习策略（以重建质量为内在奖励）实现轻量后训练，可直接用于提升现有AR生成模型（如LlamaGen、Janus-Pro）的生成质量，无需重训分词器或外部奖励模型。
POCA：面向视觉文本生成的帕累托最优课程对齐
POCA: Pareto-Optimal Curriculum Alignment for Visual Text Generation
把视觉文本生成中的文本准确率与图像美感/指令遵循的冲突建模为多目标优化，用帕累托最优集替代加权求和奖励，并配合自动难度评估的课程式提示选择；这套「帕累托奖励+课程采样」思路可直接迁移到任何需要多奖励 RL 微调的扩散生成任务（如编辑、个性化）。
OmniGen2：迈向指令对齐的多模态生成
OmniGen2: Towards Instruction-Aligned Multimodal Generation
两阶段范式（先构建世界知识基础模型，再用渐进式多任务强化学习对齐）可直接迁移到任何需要细粒度指令遵循的视觉生成任务；解耦解码架构与新型位置编码方案为统一多模态生成器的效率设计提供参考。
Neighbor GRPO：对比式常微分方程策略优化对齐流模型
Neighbor GRPO: Contrastive ODE Policy Optimization Aligns Flow Models
对做扩散/流匹配模型偏好对齐的人，这篇给出了绕开 SDE 的 GRPO 方案：直接扰动 ODE 初始噪声构造候选轨迹，用基于距离的 softmax 代理目标做策略梯度，从而保留确定性采样与高阶求解器的少步采样优势，可直接替换现有 SDE-GRPO 训练流程。
CRAFT：对齐扩散模型，微调比你想象的更容易
CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think
用复合奖励过滤构造小而一致的偏好数据集，再做增强版 SFT，就能以 100 个样本超越数千对偏好数据的 DPO 类方法；做扩散模型人类偏好对齐时，可把数据筛选环节当作主要杠杆，而不是堆偏好对数量。