Tag · 9 篇

视觉语言模型微调

分布视觉语言模型5自监督与表征学习13D 视觉与重建1目标检测与定位1数据集与评测1

SpaceMind: Camera-Guided Modality Fusion for Spatial Reasoning in Vision-Language Models

把相机表示当作主动引导模态、在语言模型前用轻量融合模块对空间 token 做相机条件化偏置与门控，这一思路可直接迁移到任何需要几何 grounding 的 RGB-only VLM 中，替代浅层特征拼接。

Same or Not? Enhancing Visual Perception in Vision-Language Models

TWIN 提供了一种可直接加入 VLM 训练语料的图像对「同/不同」判别任务，用来强化模型对细微视觉差异的注意力；做 VLM 微调或细粒度识别时，可把它当作低成本的数据侧增强手段，并用 FGVQA 这类改造自细粒度识别与检索数据集的基准来量化感知精度提升。

Reclaiming Lost Text Layers for Source-Free Cross-Domain Few-Shot Learning

揭示了CLIP文本编码器中间层在跨域少样本学习中的潜在价值，并提出通过层级别和编码器级别的引导来重新利用这些信息，为视觉分支在域偏移下的再学习提供了新思路。

PARSE: Part-Aware Relational Spatial Modeling

提出部件级装配图（PAG）作为结构化先验，可注入3D生成模型提升物理真实感与结构复杂度；同时为视觉语言模型提供部件级关系监督，增强空间推理能力。

MoECLIP: Patch-Specialized Experts for Zero-shot Anomaly Detection

把 MoE 路由下沉到图像块级别、每个图像块动态选择专属 LoRA 专家，是给 CLIP 类视觉语言模型做任务特化的可复用微调范式；FOFS 正交特征分离与 simplex ETF 损失抑制专家冗余的思路，可直接迁移到其他需要多专家分工的密集预测任务。

CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection

CPA 用多模态统计量估计场景复杂度并据此把视觉特征路由到不同通路，这一「按复杂度动态选择融合路径」的思路可直接迁移到任意 VLM 检测器的视觉-语言融合层；PCL 用同步地空图像对的语义一致性做早期稳定监督、再逐步转向随机采样，为跨域/跨视角微调提供了一种可复用的课程调度策略。

ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding

对做图表理解或多模态文档理解的视觉研究者，ChartNet 提供了百万级、五元对齐（绘图代码/图像/数据表/摘要/带推理问答）的监督信号，可直接用于微调 VLM 并检验其在几何图形与结构化数值联合推理上的泛化能力。

CADFS: A Big CAD Program Dataset and Framework for Computer-Aided Design with Large Language Models

把 CAD 建模历史表示为可执行的 FeatureScript 程序，并用多模态标注微调 VLM，使视觉语言模型能够从文本或图像生成复杂 CAD 设计历史；这套「程序化序列表示 + 多模态标注」的思路可迁移到其他需要结构化程序输出的视觉生成任务。

Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning

揭示了CLIP类VLM在目标域少样本微调时注意力汇聚被加剧、导致类间判别性下降的问题，并给出按token与目标类相关性动态重加权的通用微调策略，可直接用于任何需要把CLIP迁移到新域的少样本适配场景。