Tag · 24 篇
即插即用模块
WhisperNet:一种可扩展的带宽高效协同感知方案
WhisperNet: A Scalable Solution for Bandwidth-Efficient Collaboration
提出以接收端为中心的全局协调范式,通过轻量显著性元数据与全局请求计划动态分配带宽,并设计协同特征路由模块对齐消息,可即插即用地提升现有协同感知模型的通信效率与鲁棒性。
面向超低保留率视频大语言模型的统一时空词元压缩
Unified Spatiotemporal Token Compression for Video-LLMs at Ultra-Low Retention
提出一种无需重训练、即插即用的视频大语言模型视觉词元压缩方法,通过全局时空分配和文本感知合并,在极低保留率下保持性能,可直接用于降低视频理解任务的推理成本。
度量深度的点石成金
The Midas Touch for Metric Depth
把现成的相对深度预测结果用极稀疏的 3D 点(如 LiDAR 稀疏点、SfM 点)提升为度量深度,分段稀疏图优化加不连续感知测地代价的像素级细化,可直接作为后处理模块接在任意单目深度模型后面,用于需要真实尺度的下游 3D 任务。
TAR:面向细粒度广义类别发现的词元感知精炼
TAR: Token-Aware Refinement for Fine-grained Generalized Category Discovery
指出 ViT 注意力在少数词元上异常高响应(注意力伪影)会压制细粒度局部线索,并提出用整个词元序列而非仅首个词元做分类的即插即用精炼模块,可直接移植到任何基于 ViT 特征的细粒度识别或开放类别发现流程中。
先恢复再预测:面向变长轨迹预测的渐进式回溯学习
Recover to Predict: Progressive Retrospective Learning for Variable-Length Trajectory Prediction
针对变长/不完整观测下的轨迹预测,用级联回溯单元逐步把不完整观测特征对齐到完整观测特征,并以滚动起点训练提升数据效率;该「由短到长渐进恢复」思路可迁移到任何存在观测缺失的时序视觉预测任务。
ReMoE:面向对抗鲁棒视觉Transformer的区域混合专家
ReMoE: Region-Mixture Experts for Adversarially-Robust Vision Transformers
把 ViT 的 FFN 换成区域感知的多粒度专家层,并用注意力引导的 patch-to-region / region-to-patch 路由按空间位置激活专家,为对抗鲁棒性提供区域级归纳偏置;做 ViT 对抗防御或想把 MoE 用作结构先验的工作可直接复用该即插即用设计。
ReBaPL:排斥式贝叶斯提示学习
ReBaPL: Repulsive Bayesian Prompt Learning
把提示词优化从点估计改成对多模态后验的采样,并用表征空间上的排斥力(MMD/Wasserstein)防止所有样本塌到同一模式;做视觉-语言下游适配时可直接套在现有提示学习框架上提升分布外泛化。
ProOOD:原型引导的分布外3D占用预测
ProOOD: Prototype-Guided Out-of-Distribution 3D Occupancy Prediction
面向自动驾驶3D占用预测的免训练OOD打分(局部logit一致性与局部/全局原型匹配融合)与原型引导的尾部类挖掘,可直接迁移到其他密集预测任务的异常检测与长尾校准中。
遮挡感知 SORT:面向鲁棒多目标跟踪的遮挡观测
Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking
OA-SORT 把遮挡状态显式建模成可复用的代价修正项(OAO)与动量平滑(BAM),且无需训练即可插入 SORT 类跟踪器;做 MOT 数据关联时可直接借用其高斯图遮挡估计来缓解位置代价混淆,并作为提升现有跟踪器 HOTA/IDF1 的通用后处理。
MatchED:基于端到端匹配监督的清晰边缘检测
MatchED: Crisp Edge Detection Using End-to-End, Matching-based Supervision
用可微的一对一匹配替代 NMS 与骨架细化这类不可微后处理,把「训练-测试协议一致性」引入边缘检测;做低层结构预测(边缘、线、骨架、关键点细化)时可直接把该 21K 参数的匹配监督模块挂到现有模型上,实现端到端输出单像素宽结果。
像人类一样学习:面向广义类别发现的类比概念学习
Learning Like Humans: Analogical Concept Learning for Generalized Category Discovery
把无标注样本的发现过程转成视觉-文本推理:用已标注知识类比生成文本概念,再与视觉特征融合,可直接插到参数化或聚类式 GCD 流程中,为开放世界细粒度识别提供可复用的文本先验注入手段。
面向大型视觉语言模型的语言引导频率调制
Language-guided Frequency Modulation for Large Vision-Language Models
在视觉 token 送入 LLM 之前,用语言引导在频域上对视觉特征做高通/低通分解与选择性增强,为视觉侧提供了一种无需额外训练参数、可插拔的细粒度表征调控手段,可直接迁移到任意 LVLM 的视觉编码器-投影器链路上。
通过交换词元引导扩散模型
Guiding a Diffusion Model by Swapping Its Tokens
把 CFG 的「条件-无条件」差分替换为「干净预测-词元交换扰动预测」的差分,使无条件和条件扩散模型都能在推理阶段获得保真度提升,且无需训练、可直接插入任意扩散模型。
FSLoRA:通过频域-空间低秩适配器协调检测与重识别实现单阶段行人搜索
FSLoRA: Harmonizing Detection and Re-Identification via Freq-Spatial Low-Rank Adapter for One-Stage Person Search
把 LoRA 与混合专家结合成骨干网络级的即插即用适配器,并在频域上做任务相关分量的选择性增强,为单阶段检测+重识别这类多任务特征纠缠问题提供了可复用的解耦手段。
面向视觉跟踪的抗漂移时序先验
Drift-Resilient Temporal Priors for Visual Tracking
DTPTrack 提供了一种即插即用的时序可靠性校准与动态先验合成机制,可集成到现有跟踪器中抑制漂移,其 TRC 和 TGS 模块的设计思路可迁移到其他需要聚合历史帧信息的视频任务。
面向噪声标签学习的去偏样本选择
Debiased Sample Selection for Learning with Noisy Labels
针对小损失假设下的类别级与实例级确认偏差,MDA 通过调整预测类别分布使其趋于均匀来公平选样,CCS 利用训练动力学剔除疑似真实标签以抑制错误记忆;两者均为即插即用模块,可直接嵌入现有样本选择器或 LNL 流程,用于提升含噪数据训练的图像分类模型。
DUET-VLM:面向视觉语言模型训练与推理的双阶段统一高效词元缩减
DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference
提供一种即插即用的双阶段视觉词元压缩方案:先在视觉编码器输出端做冗余感知合并,再在语言骨干网络内按层用文本显著性引导丢弃视觉词元,可直接嵌入 LLaVA/Video-LLaVA 类 VLM 的端到端训练与推理以大幅降低视觉词元数而几乎不掉点。
DREAM:基于显式自适应记忆的文档识别
DREAM: Document Recognition with Explicit Adaptive Memory
把显式的多尺度原型记忆作为即插即用模块接入编码器-解码器,让局部区域稀疏检索可解释的结构原型(如边框、倾斜文本),为文档/手写识别等视觉-语言任务提供显式区域级结构上下文,可迁移到任何需要布局先验的视觉编码器。
CAST:面向交互式文本到图像检索的上下文感知动态潜空间变换
CAST: Context-Aware Dynamic Latent Space Transformation for Interactive Text-to-Image Retrieval
提出一种轻量级即插即用的上下文感知潜空间变换模块(CASR),通过低秩投影和强度调制动态调整多模态嵌入空间,可复用于其他需要细粒度语义对齐的跨模态检索或生成任务。
BoostSLT:通过即插即用的扩散式语义增强器提升手语翻译
BoostSLT: Boosting Sign Language Translation via a Plug-and-Play Diffusion-Based Semantic Enhancer
把扩散模型当作段落级语义重建器,对片段级翻译结果做拼接与精炼,这个「先分段再扩散融合」的即插即用思路可直接迁移到视频字幕、长视频描述等长序列视觉-语言生成任务。
Blink:面向增强多模态理解的动态视觉词元分辨率
Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding
提出基于注意力图的逐层显著性估计与 TokenSR 超分扩展机制,可在单次前向中动态为显著视觉词元分配更多计算,是一种可插拔的视觉词元分辨率调度思路,可迁移到其他 MLLM 的视觉编码与推理加速场景。
超越静态帧:用于人体姿态估计的时序聚合与恢复视觉 Transformer
Beyond Static Frames: Temporal Aggregate-and-Restore Vision Transformer for Human Pose Estimation
提出一种即插即用的时序聚合与恢复模块,可增强现有单帧 ViT 姿态估计器,利用相邻帧信息提升运动模糊、遮挡等挑战场景下的关键点定位稳定性。
超越显式语言:面向通用目标跟踪的即插即用视觉到语言建模
Beyond Explicit Language: Plug-and-Play Visual-to-Linguistic Modeling Toward General Object Tracking
提出一个即插即用的文本反转模块,将模板和搜索区域的视觉特征映射到CLIP文本嵌入空间,无需显式语言输入即可为跟踪器注入语言引导,可复用于其他视觉任务以隐式利用语言先验。
超语义空间中面向即时类别发现的分配驱动哈希学习
Assignment-Driven Hash Learning in a Hyper-Semantic Space for On-the-Fly Category Discovery
把「超语义空间」的双几何子空间(父原型派生增强 + 跨原型插值校准)与灵活原型分配、二值哈希正则化结合,可作为即插即用模块嵌入现有开放世界/流式类别发现流程,缓解已知类对新类的空间垄断与特征到哈希的级联退化。