Tag · 5 篇
免训练适配
指向部件:多模态大语言模型中的免训练少样本视觉定位
Pointing at Parts: Training-Free Few-Shot Grounding in Multimodal LLMs
提出一种免训练、即插即用的少样本部件级指向方法,通过融合文本与视觉注意力图以及自监督视觉对应,可提升MLLM在细粒度空间定位任务上的表现,为视觉语言模型的空间理解提供可复用技术。
LLMind:受生物启发的免训练自适应视觉表征用于视觉语言模型
LLMind: Bio-inspired Training-free Adaptive Visual Representations for Vision-Language Models
在紧像素预算下,用莫比乌斯参数化的非均匀采样替代 VLM 的均匀视觉编码,并通过测试时自适应的闭环语义反馈把采样密度对齐到文本查询的显著区域;这套即插即用的前端可直接复用于任何冻结 VLM 的高分辨率或长视频输入压缩。
HyCal:面向跨学科少样本类增量学习的免训练原型校准方法
HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning
在冻结的 CLIP 嵌入上,用余弦相似度与马氏距离互补地校准类原型,可作为一种免训练的原型修正手段,直接迁移到少样本/增量式的开放词表识别与跨域检索场景。
CLAY:视觉语言嵌入空间中的条件视觉相似度调制
CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space
把预训练 VLM 的嵌入空间当作文本条件的相似度空间,无需训练即可用固定视觉嵌入做多条件组合检索;对做图文检索、个性化搜索或需要按用户意图动态调整相似度度量的视觉研究者,这是一个可直接复用的免训练条件化思路。
超越逐层合并:面向视觉语言模型的链式合并
Beyond Layer-Wise Merging: Chain-of-Merging for Vision-Language Models
为视觉研究者提供一种免训练的参数级融合手段:把数学/推理专精的 LLM 参数按结构+语义匹配分数自适应地注入 VLM 的不同层,可在不重训的情况下提升 VLM 的数学推理与通用视觉理解,适合作为多模态模型能力扩展的轻量后处理方案。