Tag · 18 篇
视觉语言对齐
文本引导特征解耦的跨模态步态识别
Text-guided Feature Disentanglement for Cross-modal Gait Recognition
用 LLM 生成的模态感知文本先验作为语义锚点，配合 CLIP 多粒度编码器把激光雷达点云序列与 RGB 视频对齐到统一视觉-语言空间，再通过 top-k 文本匹配与残差正交约束解耦出模态共享步态特征；这套「文本引导解耦」思路可迁移到其他 2D-3D 跨模态检索与识别任务。
SineProject：面向稳定视觉语言对齐的机器遗忘方法
SineProject: Machine Unlearning for Stable Vision-Language Alignment
对做多模态大模型安全对齐的研究者，这篇论文指出遗忘训练会破坏投影器的雅可比条件数，并给出用正弦调制可训练参数稳定跨模态嵌入的轻量方案，可直接用于视觉语言模型的知识擦除与安全微调。
面向体数据 CT Transformer 的自监督与跨模态预训练规模化
Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers
对做3D医学影像或大体积数据的研究者，可复用其「局部高分辨率Transformer + 全局扫描上下文Transformer」的双层注意力拆分方案，把极端词元规模下的3D注意力变得可计算；同时DINO自蒸馏与SigLIP视觉语言对齐联合预训练的配方，可迁移到其他缺乏标注的体数据域。
SRA-Det：超越类别名称的全粒度开放词表检测
SRA-Det: Learning Omni-Grained Open-Vocabulary Detection Beyond Category Names
把开放词表检测从「类别名匹配」推进到「属性级细粒度查询」：用注意力从 token 级文本特征检索多个语义侧面，再用 soft-min 匹配近似可微的逻辑与，保证所有关键属性同时满足；这套「多侧面检索 + 软与匹配」可直接迁移到任何文本-区域对齐的检测/定位头。
视觉-语言对齐辅助的原型动作推理用于第一视角动作预测
Prototypical Action Reasoning Facilitated by Vision-Language Alignment for Egocentric Action Anticipation
将无约束的时序预测转化为由视觉-语言模型学到的解耦动词/名词原型引导的条件预测，这一「语义锚点+原型检索」思路可迁移到其他高不确定性的时序预测任务（如轨迹预测、事件预测）。
PRISM：基于原型与跨模态语义挖掘的可解释图像识别推理框架
PRISM: Prototype-based Reasoning with Inter-modal Semantic Mining for Interpretable Image Recognition
把文本条件归因图与原型激活图对齐，可在无概念标注的情况下把 part prototype 锚定到语义区域，为可解释分类器提供一条可复用的跨模态原型学习与定位约束思路。
一个图像块描述所有：统一零样本描述框架
One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework
将图像描述从全局图像级转向以图像块为原子单元，利用DINO等骨干网络产生的密集视觉特征，无需区域级监督即可实现任意区域（包括非连续区域）的零样本描述，为开放世界区域理解提供了可复用的范式。
警惕无源跨域少样本学习中的判别性陷阱
Mind the Discriminability Trap in Source-Free Cross-domain Few-shot Learning
揭示了 VLM 在无源跨域少样本微调中「视觉判别性越强反而越差」的捷径现象：交叉熵损失中的视觉学习项会绕过跨模态对齐，因此做 CLIP/SigLIP 下游适配时应显式扰动视觉分支并利用图文语义关系逐步恢复模态对齐，而不是一味增强视觉特征判别性。
MVLM：基于视觉-语言边界置信度与记忆门控跟踪的无模板跟踪
MVLM: Template-Free Tracking via Vision-Language Margin Confidence and Memory-Gated Tracking
用视觉-语言相关性与时序记忆构造 margin 置信度，并据此在紧凑 ROI 搜索与全局重定位之间动态切换，为无模板、纯语言指定的跟踪提供了一种可复用的置信度门控搜索策略。
IVAAN：面向细胞核分析的属性引导文本提示生成实例级视觉语言对齐
IVAAN: Instance-level Vision-Language Alignment via Attribute-Guided Text Prompts Generation for Nuclei Analysis
用真值掩码自动生成属性引导的文本描述，再以对比学习把实例级视觉表征与语义锚点对齐，并学习类内多个原型 token 建模子模态——这套「无人工文本标注的实例级视觉语言对齐 + 原型语义反馈」可直接迁移到其他缺乏实例级文本标注的密集预测任务（如细胞/病灶/遥感目标分割）。
GaussianVision：利用2D高斯泼溅从压缩图像表示实现视觉-语言对齐
GaussianVision: Vision-Language Alignment from Compressed Image Representations using 2D Gaussian Splatting
用2D高斯泼溅作为紧凑、空间自适应的视觉表示替代RGB像素，配合冻结的RGB Transformer骨干和轻量输入茎，可显著降低传输与词元开销，为视觉语言模型提供可复用的高效视觉前端。
以文本语义增强视觉表征：文本语义驱动的原型用于异构联邦学习
Enhancing Visual Representation with Textual Semantics: Textual Semantics-Powered Prototypes for Heterogeneous Federated Learning
用大语言模型生成的类文本描述经预训练语言模型编码成语义原型，再通过可训练提示与客户端图像特征对齐，为视觉表征学习提供了一种跨模态语义先验注入手段，可迁移到长尾/异构数据下的分类表征对齐。
方向感知的 3D 大型多模态模型
Direction-aware 3D Large Multimodal Models
PoseRecover 用 RGB-D 视频外参、物体视锥求交与 Z-buffer 可见性检查自动为点云基准补全自我位姿，PoseAlign 则直接变换点云坐标使其与位姿对齐——这套「把位姿注入数据而非提示词或投影层」的做法，可复用于任何需要空间/方向推理的 3D 视觉-语言任务。
面向免训练开放词表语义分割的免 logits 优化直接分割方法
Direct Segmentation without Logits Optimization for Training-Free Open-Vocabulary Semantic Segmentation
把视觉-语言 logits 与真值的分布差异直接取解析解当作语义图，省掉迭代训练和模型特定的注意力调制，可直接套用到任意 CLIP 类骨干的免训练开放词表分割流程中。
COPE：面向遮挡行人重识别的一致遮挡与提示词增强网络
COPE: Consistent Occlusion and Prompt Enhancement Network for Occluded Person Re-identification
针对遮挡行人重识别，CICO 在不同身份上施加相同遮挡并拉近同一遮挡区域的特征，PBF 用视觉-语言对齐生成前景热图做随机背景填充，PSS 用提示词引导的可靠性分数修正检索相似度——这套「一致遮挡 + 提示词可靠性打分」思路可直接迁移到其他存在遮挡或背景干扰的检索/匹配任务。
提升零样本目标计数的数量与空间感知能力
Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting
提出数值条件提示和代价聚合解码器，将计数从粗检索转为细粒度数量感知，可直接用于开放词表计数和视觉语言模型的定量推理增强。
BiOTPrompt：双向最优传输引导的疾病演化感知放射报告生成
BiOTPrompt: Bidirectional Optimal Transport Guided Prompting for Disease Evolution-aware Radiology Report Generation
用双向最优传输计划的不对称性来定位新出现与已消退病灶，这一思路可迁移到任何需要比较两期影像差异的视觉任务（如变化检测、随访影像分析）；同时其视觉-语言一致性约束为缓解多模态生成中的幻觉提供了可复用的正则手段。
超越文本：面向基于 CLIP 的弱监督语义分割的概率模型视觉描述组装
Beyond Text: Visual Description Assembly by Probabilistic Model for CLIP-based Weakly Supervised Semantic Segmentation
用概率模型把 CLIP 视觉特征映射到结构化潜空间、动态组装实例级视觉描述原型来替代静态文本原型查询，可直接迁移到任何依赖 CLIP 文本-图像对齐生成 CAM 的弱监督定位任务。