Tag · 5 篇

多模态数据集构建

ZINA: Multimodal Fine-grained Hallucination Detection and Editing

为视觉语言模型输出提供细粒度幻觉片段定位与错误类型分类（六类），并给出修正建议，可直接用于VLM生成结果的自动核查与后处理编辑；其基于图结构建模错误类型依赖的合成数据生成方式，也可迁移到其他需要细粒度标注稀缺的多模态任务。

Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

把触觉信号当作一种「查询模态」，用密集跨模态特征交互生成触觉显著性图，可直接迁移到文本/音频等非视觉查询驱动的区域定位与分割任务；其材料多样性配对策略也为弱信号条件下的跨模态对齐提供了可复用的数据增强思路。

Same or Not? Enhancing Visual Perception in Vision-Language Models

TWIN 提供了一种可直接加入 VLM 训练语料的图像对「同/不同」判别任务，用来强化模型对细微视觉差异的注意力；做 VLM 微调或细粒度识别时，可把它当作低成本的数据侧增强手段，并用 FGVQA 这类改造自细粒度识别与检索数据集的基准来量化感知精度提升。

MeteorPred: A Meteorological Multimodal Large Model and Dataset for Severe Weather Event Prediction

把 4D 气象场（时间×气压层×空间）当作视觉式高维输入，用三个即插即用的自适应融合模块分别沿时序、垂直层、空间维度做动态特征提取与整合，这套「多维张量输入 + 分维融合」的接口设计可直接迁移到视频、多帧深度、气象/遥感等时空视觉任务的多模态大模型改造中。

FUSAR-GPT: A Spatiotemporal Feature-Embedded and Two-Stage Decoupled Visual Language Model for SAR Imagery

对做遥感/多模态的视觉研究者，可复用其「时空锚点」把多源时序特征注入视觉骨干网络以补偿 SAR 目标表征稀疏的思路，以及解耦知识注入与任务执行的两阶段 SFT 范式，可直接迁移到其他低质量或非 RGB 成像域的 VLM 适配。