Tag · 13 篇
零样本学习
fMRI-LM:迈向面向语言对齐 fMRI 理解的通用基础模型
fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding
把连续神经信号离散化为语言对齐 token 的分词器思路,可迁移到视频/时序视觉信号与语言模型的对齐;三阶段(分词器→联合预训练→多任务指令微调)流程为视觉-语言基础模型提供了可复用的训练范式。
Zoo3D:场景级零样本 3D 目标检测
Zoo3D: Zero-Shot 3D Object Detection at Scene Level
提出无需训练的零样本 3D 目标检测框架,利用 2D 实例掩码的图聚类构建 3D 包围盒,并通过最佳视角选择与视角一致性掩码生成进行开放词表语义标注,可直接用于点云或图像场景的 3D 感知。
无需真实异常:多模态大语言模型赋能的零样本视频异常检测
No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection
利用多模态大语言模型和伪异常采样器实现零样本视频异常检测,为开放世界场景下的异常理解提供了无需真实异常数据的训练范式;基于反向注意力的词元压缩方法可复用于降低时空稀疏模式的计算开销。
建模人类草图的视觉歧义性
Modeling the Visual Ambiguity of Human Sketches
AmbiScore 把「草图-图像对本身有多歧义」量化成一个可计算的指标,并据此自适应调节监督强度;做跨模态对齐或噪声监督训练时,可以直接借用这种按样本不确定性加权监督的思路,Purified Matching 的 shape jigsaw / texture swapping 也可作为解耦结构与外观的通用数据构造手段。
MOON2.0:面向电商商品理解的动态模态均衡多模态表征学习
MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
模态驱动的混合专家按样本模态构成自适应路由,配合产品内图文双层对齐,可直接迁移到图文检索与商品表征学习;其图文协同增强与动态样本过滤为多模态训练数据清洗提供可复用流程。
利用互联网级无标注数据提升 3D 场景理解
Lifting Unlabeled Internet-level Data for 3D Scene Understanding
提出一种数据引擎,利用互联网无标注视频自动生成 3D 场景理解训练数据,可复用于低层感知(3D 检测/分割)与高层推理(3D VQA/VLN)任务,为缓解 3D 标注稀缺提供可扩展方案。
借助视觉线索的结果奖励强化学习激励生成式零样本学习
Incentivizing Generative Zero-Shot Learning via Outcome-Reward Reinforcement Learning with Visual Cues
把结果奖励强化学习用于生成式零样本学习的特征合成器,用类级视觉原型作为奖励信号与稳定项,可迁移到任何需要让生成器产出任务相关特征(而非仅语义一致)的条件生成场景。
回归点云:探索点-语言模型用于零样本3D异常检测
Back to Point: Exploring Point-Language Models for Zero-Shot 3D Anomaly Detection
该论文提出直接利用点云与文本对齐的预训练点-语言模型进行零样本3D异常检测,避免2D渲染的信息损失,其多粒度图像块特征与文本对齐、几何描述子增强的策略可复用于其他3D下游任务(如3D分割、定位)中的跨模态表征学习。
Alert-CLIP:面向视频异常检测的异常感知潜在增强 CLIP 表征微调
Alert-CLIP: Abnormality-aware Latent-Enhanced Representation Tuning of CLIP for Video Anomaly Detection
针对 CLIP 文本嵌入空间中正常/异常描述纠缠的问题,提出视频-标签、区域-文本、区域-语义三级对齐微调策略,可直接迁移到任何需要细粒度异常感知的 CLIP 下游任务(如工业缺陷、医学异常筛查)。
适配上下文生成以增强组合图像检索
Adapting In-context Generation for Enhanced Composed Image Retrieval
利用预训练文本到图像模型的上下文生成能力,在少样本下合成无偏的组合图像检索三元组,并通过分布鲁棒合成预训练和细粒度真实世界适配两阶段框架提升检索性能,为视觉-语言检索任务提供可复用的数据增强与微调策略。
面向视觉语言模型空间智能的抽象3D感知
Abstract 3D Perception for Spatial Intelligence in Vision-Language Models
通过抽象边界框将3D几何结构编码给VLM,无需额外训练即可提升空间推理能力,为视觉语言模型中的3D理解提供了一种可复用的零样本增强手段。
ANTS:通过测试时 MLLM 理解与推理实现 OOD 检测的自适应负文本空间塑造
ANTS: Adaptive Negative Textual Space Shaping for OOD Detection via Test-Time MLLM Understanding and Reasoning
把 MLLM 当作测试时的『负空间生成器』:缓存疑似 OOD 图像与视觉相似的 ID 类,用提示词让 MLLM 分别生成描述性负句和近邻负标签,再用自适应加权分数融合,可直接迁移到任何基于 CLIP 式文本空间的 OOD 检测或开放词表识别流程中,且无需训练。
AGFT:面向视觉语言模型零样本对抗鲁棒性的对齐引导微调
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
提出用原始模型软预测做文本引导的对抗微调,并用温度缩放分布一致性校准保持跨模态对齐,可直接迁移到CLIP类模型的对抗鲁棒性提升。