Tag · 29 篇
多模态对齐
WeMMU：通过噪声查询令牌增强视觉语言模型与扩散模型的桥接
WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens
用带噪声的可学习查询令牌作为 VLM 与扩散模型之间的分布式接口，并配一条 VAE 线性投影支路补回细节，可直接用于构建视觉生成式多模态助手，缓解固定查询令牌在跨任务时的泛化崩溃。
VL-Eraser：面向视觉语言模型机器遗忘的真空蒸馏
VL-Eraser: Vacuum Distillation for Machine Unlearning in Vision-Language Models
VL-Eraser 将遗忘目标解耦到低秩适配器中，通过删除适配器参数实现遗忘，为视觉语言模型提供了一种可复用的事后知识移除手段，尤其适用于需要移除敏感内容同时保持跨模态对齐的场景。
释放多模态大语言模型内在的视觉表征能力
Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models
把掩码图像建模搬到 MLLM 的联合潜语义空间里做视觉重建，为视觉表征提供直接监督信号，可复用于任何需要增强 VLM 密集视觉能力的训练流程。
面向多模态大语言模型的不确定性感知探索式直接偏好优化
Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
把词元级认知不确定性作为探索强度信号，替代模型自评的视觉敏感度来分配 DPO 训练权重，可直接迁移到任何需要细粒度视觉 grounding 监督的 MLLM 偏好对齐流程中。
文本印刷图像：弥合图像-文本模态鸿沟以实现大型视觉语言模型的文本中心训练
Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models
提出将文本直接渲染为图像（TPI）来桥接模态鸿沟，为LVLM在仅有文本数据时提供低成本训练方案，可复用于数据稀缺场景下的视觉语言模型微调与数据增强。
TAMER：面向零样本心电图诊断的三模态对比对齐与多尺度嵌入细化框架
TAMER: A Tri-Modal Contrastive Alignment and Multi-Scale Embedding Refinement Framework for Zero-Shot ECG Diagnosis
论文提出的三模态对比对齐与多尺度嵌入细化框架，可迁移到视觉-语言-信号的多模态融合任务中，特别是利用诊断报告进行细粒度语义对齐的思路，对医学图像的多模态预训练有直接参考价值。
StructXLIP：利用多模态结构线索增强视觉-语言模型
StructXLIP: Enhancing Vision-language Models with Multimodal Structural Cues
StructXLIP 将边缘图作为视觉结构代理，并设计结构中心损失来增强视觉-语言对齐，为跨模态检索提供了一种即插即用的微调策略，可复用于其他多模态模型的结构感知训练。
SOUPLE：以可学习提示词上下文增强音视频定位与分割
SOUPLE: Enhancing Audio-Visual Localization and Segmentation with Learnable Prompt Contexts
用可学习的上下文词元替代 CLIP 中固定的文本提示词，并把视觉特征注入其中生成条件上下文，为视觉侧提供了一种可复用的提示词调优范式，可直接迁移到开放词表检测、指代分割等需要文本-视觉对齐的任务。
SAVE：面向视频-文本检索的语音感知视频表征学习
SAVE: Speech-Aware Video Representation Learning for Video-Text Retrieval
为视频-文本检索引入语音分支和软对齐策略，视觉研究者可借鉴其音视频早期对齐与融合机制，提升多模态检索性能。
重新评估CLIP中的模态内错位假设
Reevaluating the Intra-Modal Misalignment Hypothesis in CLIP
该论文对CLIP类模型嵌入空间的分析表明，跨模态对齐损失并未导致图像间距离的次优校准，因此视觉研究者无需为图像任务额外引入模态内对齐损失，可直接复用CLIP/SigLIP特征进行检索和少样本分类。
ROSE：旋转你的大语言模型使其看见
ROSE: Rotate Your Large Language Model to See
提出用旋转矩阵把视觉语义直接作用到 LLM 预训练参数上的参数空间注入方式，替代把视觉 token 拼进输入序列的做法；做视觉-语言对齐、想降低多模态上下文长度与推理成本的工作可以直接借鉴这一注入接口。
通过隐式模态分解实现多模态大模型的参数高效适配
Parameter-Efficient Adaptation for MLLMs via Implicit Modality Decomposition
把 LoRA 的可学习参数按模态拆成文本专属、非文本专属与模态共享三部分，并加解耦/对齐约束，可直接迁移到视觉-语言模型（如 LLaVA 类）的 PEFT 微调中，缓解文本模态主导更新、视觉表征学不充分的问题。
PET-DINO：通过提示词增强训练将视觉线索统一到 Grounding DINO 中
PET-DINO: Unifying Visual Cues into Grounding DINO with Prompt-Enriched Training
在 Grounding DINO 这类文本提示检测器上，用轻量视觉提示生成模块（AFVPG）把视觉线索注入文本提示路径，并配合批内并行提示与动态记忆提示两种训练策略，为开放词表/零样本检测提供了一条无需复杂多阶段优化的视觉提示融合方案。
建模跨视觉协同的统一大视觉模型
Modeling Cross-vision Synergy for Unified Large Vision Model
PolyV 的稀疏混合专家架构与动态模态路由器为视觉多模态统一模型提供了可复用的设计范式，其协同感知训练策略（模态特定预训练+知识蒸馏+对象/关系级对齐）可直接用于提升视觉模型在跨模态推理任务上的表现。
MTA：面向鸟瞰图感知与描述的多模态任务对齐
MTA: Multimodal Task Alignment for BEV Perception and Captioning
把 BEV 场景表征与真值语言表征做上下文对齐、并把检测输出与描述输出做跨模态提示对齐，是一种可在训练期插入、推理期零开销的多模态对齐插件，可直接迁移到其他 BEV 感知+语言生成联合框架中。
MOON2.0：面向电商商品理解的动态模态均衡多模态表征学习
MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
模态驱动的混合专家按样本模态构成自适应路由，配合产品内图文双层对齐，可直接迁移到图文检索与商品表征学习；其图文协同增强与动态样本过滤为多模态训练数据清洗提供可复用流程。
干预感知的多尺度表征学习：从成像表型组学到扰动转录组学
Intervention-Aware Multiscale Representation Learning from Imaging Phenomics and Perturbation Transcriptomics
提出一种干预感知的蒸馏框架，利用转录组学教师模型指导仅图像的student模型，在测试时无需转录组数据即可预测干预语义；其基于化学感知码本和剂量解耦的设计，可迁移到其他需要从图像预测干预效果或处理弱配对多模态数据的视觉任务中。
从吸引到平衡：面向零样本异常检测的物理启发式语义引力子
From Attraction to Equilibrium: Physics-Inspired Semantic Gravitons for Zero-Shot Anomaly Detection
把 CLIP 的视觉-文本对齐建模为可学习的「语义引力子」中介，用交替耦合与能量势正则稳定跨模态对应，可直接迁移到需要精确定位的零样本/开放词表视觉任务（异常检测、缺陷分割、开放词表定位）。
细粒度图像美学评估：从相对排序中学习判别性分数
Fine-grained Image Aesthetic Assessment: Learning Discriminative Scores from Relative Ranks
论文提出的细粒度图像美学评估数据库 FGAesthetics 与基于相对排序的框架 FGAesQ，为视觉研究提供了在细微美学差异下进行判别性评估的新设定与可复用技术（DiffToken、CTAlign、RankReg），可迁移到其他需要细粒度比较的视觉任务。
FedAFD：通过对抗融合与蒸馏实现的多模态联邦学习
FedAFD: Multimodal Federated Learning via Adversarial Fusion and Distillation
双层对抗对齐与相似度引导的集成蒸馏，为视觉研究者提供在数据不共享、模态与模型异构条件下融合跨模态表征的可复用机制，可直接迁移到多模态视觉模型的分布式协同训练。
Easy2Hard：从部分不匹配到完全不匹配的模态作为对比学习负样本
Easy2Hard: From Partially to Fully Unmatched Modalities as Negative Samples in Contrastive Learning
对做多模态视觉表征（如图文、视频-音频-文本）的研究者，这篇论文给出了一个可直接替换的负样本构造与加权策略：把部分不匹配与完全不匹配的模态对分开，并用 sigmoid 权重课程从易到难过渡，可嵌入现有对比学习损失中提升细粒度对齐效果。
EG-3DVG：面向 3D 视觉定位的表达式与几何感知定位解码器
EG-3DVG: Expression and Geometry Aware Grounding Decoder for 3D Visual Grounding
面向 3D 视觉定位的解码器设计：位置引导的表达式交叉注意力把文本线索可靠注入视觉词元，几何感知掩码注意力只聚合几何一致的邻域特征，可直接迁移到任何需要文本-点云对齐的 grounding 或指代分割流程。
通过因果发现与双模态安全子空间投影诊断并修复视觉语言模型中的不安全通道
Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection
提供了一套可复用的诊断-修复范式：先用因果中介分析定位导致不安全行为的神经元与层，再通过广义特征分解在良性与恶意激活之间学习视觉/文本双模态安全子空间，并在推理时动态投影激活。做多模态安全对齐或激活引导的研究者可直接借用该子空间构造与混合融合机制来抑制不安全特征而不损伤语义保真度。
DeepAlign：通过模态特定对齐缓解模态冲突
DeepAlign: Mitigating Modality Conflict through Modality-Specific Alignment
针对视觉-语言表征错位与模态细节流失，提出表征干预加结构诱导知识蒸馏的对齐框架，可直接用于改进任意 MLLM 的视觉编码器到语言模型的投影对齐环节，并解锁交错图文序列上的多模态上下文学习。
DeRVOS：解耦一致轨迹生成与多模态理解用于指代视频目标分割
DeRVOS: Decoupling Consistent Trajectory Generation and Multimodal Understanding for Referring Video Object Segmentation
将 RVOS 解耦为预训练实例轨迹生成与多模态理解两个分支，并用 TAIS 模块做跨帧对齐与隐式轨迹选择，为视频分割中轨迹一致性与语言对齐的分离建模提供了可复用范式。
连接大脑与语义：面向语义增强 fMRI 视频重建的分层框架
Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction
把 fMRI 信号映射到同时包含文本语义、图像内容、动作概念与物体类别的联合嵌入空间，再用记忆库检索融合来约束视频生成，这套「语义富化 + 记忆检索」的两阶段思路可迁移到脑机解码之外的弱条件视频生成与跨模态检索增强生成。
BioVITA：面向视觉-文本-声学对齐的生物数据集、模型与基准
BioVITA: Biological Dataset, Model, and Benchmark for Visual-Textual-Acoustic Alignment
把音频作为第三模态接入 BioCLIP2 式的图文对比表征空间，并给出覆盖三模态全方向、三个分类层级的跨模态检索基准，为视觉研究者提供可复用的多模态对齐训练范式与评测协议。
超越共享信息：从中间层恢复丢失的独特信息以提升多模态地理基础模型
Beyond What's Shared: Recovering Lost Unique Information from Intermediate Layers to Boost Multimodal Geo-Foundation Models
对做多模态对比学习（如 CLIP 式图文对齐）的人，这篇给出一个几乎零成本的改进：把中间层与最后一层特征融合，可恢复被对齐目标压掉的模态特有信息；其逐层分析（模态间隙、表征相似度、互信息）也可直接迁移到视觉-语言模型的特征选择与层融合策略上。
逐 token 对齐文本、图像与三维结构
Aligning Text, Images and 3D Structure Token-by-Token
把结构化 3D 场景当作一种可 tokenize 的模态，用统一的 LLM 自回归建模语言、图像与 3D 场景，为单图重建完整 3D 场景和 3D 目标识别提供了可复用的 tokenizer 与训练配方。