Tag · 8 篇
注意力掩码
Sparse-LaViDa：稀疏多模态离散扩散语言模型
Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
对做视觉生成/编辑的人，这篇给出了一个可直接套用的加速手段：在掩码离散扩散的每一步采样中动态截断冗余的掩码 token，并用 register token 保留其信息、用匹配的注意力掩码对齐训练与推理，从而在文本到图像生成与图像编辑上获得约 2 倍加速而不掉质量。
Scone：通过统一理解-生成建模弥合主体驱动图像生成中的组合与区分
Scone: Bridging Composition and Distinction in Subject-Driven Image Generation via Unified Understanding-Generation Modeling
把理解专家当作语义桥梁，向生成专家传递语义并配合注意力掩码抑制主体间干扰，为多主体个性化生成中「选对主体」的问题提供了可复用的两阶段训练与掩码引导思路。
RADAR：VAR的VQ-VAE解码器是加速退化恢复的好学生
RADAR: VQ-VAE Decoder of VAR is a Good Student for Restoring Against Degradation by Acceleration
针对VAR中跨尺度注意力语义偏置问题，提出语义代价感知的注意力掩码与解码器端LoRA知识蒸馏恢复，为视觉自回归生成提供可复用的加速与保真平衡方案。
面向快速自回归图像生成的并行 Jacobi 解码
Parallel Jacobi Decoding for Fast Autoregressive Image Generation
把 Jacobi 式投机解码的草稿序列从一维 token 链扩展到二维空间邻域，并配合调整注意力掩码抑制误差累积，可直接套用到 VAR、ImageGPT 等自回归图像生成器的推理阶段，在不重训的前提下换取数倍加速。
OrionEdit：连接参考图像与源图像以实现泛化的跨图像编辑
OrionEdit: Bridging Reference and Source Images for Generalized Cross-Image Editing
把「参考图→源图」的跨图像编辑形式化为可控生成任务，并用对称正交子空间解耦加反向因果注意力掩码约束潜变量单向依赖，这套解耦与信息流掩码思路可直接迁移到多条件控制、个性化生成与风格迁移中，用来抑制参考信息泄漏到不该改的区域。
OSPO：面向文本到图像生成的以物体为中心的自改进偏好优化
OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation
把偏好优化从整图级细化到物体级：用注意力图导出物体掩码，构造物体级偏好对并施加物体加权 SimPO 损失，可直接迁移到任何统一多模态理解-生成模型的细粒度对齐后训练中。
掩码至关重要：释放LLM的空间推理能力用于3D场景-语言理解
Masking Matters: Unlocking the Spatial Reasoning Capabilities of LLMs for 3D Scene-Language Understanding
提出一种无需修改架构和增加参数的注意力掩码策略（3D-SLIM），用几何密度和指令感知替代因果掩码，可直接用于任何基于LLM的3D视觉-语言模型，提升空间推理能力。
面向视觉语言模型的混合词元压缩
Hybrid Token Compression for Vision-Language Models
提出双通道（连续 ViT 图像块 + 离散 MGVQ 语义锚点）视觉词元压缩方案，用解耦注意力掩码与 <voco> 瓶颈把 580 个视觉词元压成 1 个，可直接用于降低任意 VLM 的视觉上下文长度与显存开销。