Tag · 2 篇
多任务联合训练
01 02
TUNA：为原生统一多模态模型驯服统一视觉表征
TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models
把 VAE 编码器与预训练表征编码器级联成统一连续视觉空间，让理解与生成共享同一表征，视觉研究者可直接复用该表征设计来消除理解/生成双编码器的格式错配，并借鉴其「表征编码器越强则全任务越好」的结论选型骨干。
面向图表识别的短语定位感知监督微调：基于侧路掩码注意力
Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
把短语级视觉定位作为辅助监督信号插入 LLM 每一层 Transformer 的侧路掩码注意力中，为 VLM 微调提供区域级参考 logit；做文档/图表理解或需要细粒度区域对齐的 VLM 微调时可直接复用该侧路注意力设计。