Tag · 4 篇

多模态统一模型

分布视觉语言模型1高效模型与推理加速1生成模型与扩散1图像编辑与可控生成1

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

提出在共享词元接口施加轻量扰动器的自对抗后训练框架，可复用于提升任意视觉-语言统一模型的理解-生成一致性与对抗鲁棒性。

UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking

提出一种注意力引导、词元类型感知的统一剪枝策略，可同时压缩搜索区域、动态模板和静态模板中的视觉词元，为基于单流 Transformer 的跟踪器在保持精度的同时大幅降低计算量，该思路可迁移到其他需要处理多源视觉词元的 Transformer 任务。

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

对做视觉生成/编辑的人，这篇给出了一个可直接套用的加速手段：在掩码离散扩散的每一步采样中动态截断冗余的掩码 token，并用 register token 保留其信息、用匹配的注意力掩码对齐训练与推理，从而在文本到图像生成与图像编辑上获得约 2 倍加速而不掉质量。

Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing

将结构化思维链推理与强化学习结合，用于对齐多模态模型的理解与生成能力，可复用于需要精确遵循图文交错指令的图像生成与编辑任务。