Tag · 8 篇
多模态预训练
UVU：通过视觉-语言统一自回归范式改进多模态理解
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
把像素级视觉重建作为预训练阶段的统一自回归监督信号，与文本 token 共享同一词表，为提升 MLLM 细粒度视觉感知提供了一条不依赖向量量化的连续视觉编码 + 码本构建思路，可直接迁移到其他多模态预训练配方中。
通过教师引导的双路径音视频表征学习实现语义噪声消减
Semantic Noise Reduction via Teacher-Guided Dual-Path Audio-Visual Representation Learning
把对比对齐与掩码重建拆成两条独立优化路径、各自使用不同的可见 patch 模式，并用教师模型组织对比分支的可见 token——这套解耦思路可直接迁移到图像/视频的自监督预训练中，缓解多目标联合优化时的语义噪声与梯度干扰。
RAMEN：面向地球观测的分辨率可调多模态编码器
RAMEN: Resolution-Adjustable Multimodal Encoder for Earth Observation
将空间分辨率作为可控输出参数，使单一Transformer编码器能在推理时按需调整细节层次，为多传感器、多分辨率遥感数据的统一表征学习提供了可复用的预训练范式。
OlmoEarth：面向多模态地球观测的稳定潜空间图像建模
OlmoEarth: Stable Latent Image Modeling for Multimodal Earth Observation
面向多模态时空遥感数据设计的自监督掩码策略与损失，可作为把掩码图像建模从静态 RGB 扩展到多时相多传感器输入的参考；其嵌入与全微调两套评测协议也值得在遥感下游任务中复用。
LLM 引导的概率融合用于标签高效的文档版面分析
LLM-Guided Probabilistic Fusion for Label-Efficient Document Layout Analysis
把 OCR-LLM 推断出的层级版面结构当作结构化先验，与教师检测器的视觉预测做逆方差概率融合来生成伪标签，并用实例自适应门控替代固定权重；做半监督检测或需要引入外部语言模型先验来提升伪标签质量时可直接复用这套融合与门控机制。
KAMP：面向医学图像表征的知识锚定多模态预训练框架
KAMP: Knowledge-Anchored Multimodal Pretraining Framework for Medical Image Representation
用大语言模型从临床文本与影像元数据生成个性化诊断知识，作为语义锚点注入图像表征，并用跨模态对齐器作奖励模型做 GRPO 优化——这套「文本先验锚定 + 对齐器即奖励」的流程可迁移到任何配对数据稀缺的视觉-语言预训练场景。
InvCoSS：医学多模态图像预训练中反演驱动的持续自监督学习
InvCoSS: Inversion-driven Continual Self-supervised Learning in Medical Multi-modal Image Pre-training
用模型反演生成近似旧任务分布的合成图像替代真实数据回放，为视觉预训练中的持续学习提供了一条不依赖跨站点数据共享、且显著降低存储的可行路径；InvUNet 的多尺度高低频融合与无类别引导的排斥式表征学习可直接迁移到其他需要合成回放的增量预训练场景。
E3AD：面向以人为中心的端到端自动驾驶的情感感知视觉-语言-动作模型
E3AD: An Emotion-Aware Vision-Language-Action Model for Human-Centric End-to-End Autonomous Driving
把连续 VAD 情感状态作为条件注入 VLA 驾驶策略，并设计自我中心/异我中心双通路空间融合模块；对做端到端驾驶或指令跟随的研究者，这是一个可复用的「语言意图+情感先验→轨迹」条件化范式与一致性对齐训练流程。