Tag · 10 篇
表征学习
释放多模态大语言模型内在的视觉表征能力
Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models
把掩码图像建模搬到 MLLM 的联合潜语义空间里做视觉重建,为视觉表征提供直接监督信号,可复用于任何需要增强 VLM 密集视觉能力的训练流程。
StaMo:从紧凑状态表征中无监督学习可泛化的机器人运动
StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation
用预训练 DiT 作为解码器,从静态图像编码出仅两个 token 的紧凑状态表征,并通过潜变量插值得到可直接解码为机器人动作的潜动作;对做 VLA、世界模型或从视频/图像中挖掘动作监督的视觉研究者,这是一个可复用的轻量表征与潜动作提取方案。
POUR:基于神经坍缩的可证明最优表征遗忘方法
POUR: A Provably Optimal Method for Unlearning Representation via Neural Collapse
把机器遗忘从分类器层推进到表征层,用 Neural Collapse 下 simplex ETF 的正交投影给出闭式最优遗忘算子,并提供蒸馏式特征级变体;做视觉模型隐私删除或概念擦除时可直接复用该投影算子与 RUS 指标来评估表征是否真正被遗忘。
面向3D医学视觉表征学习的掩码扩散自编码器
Masked-Diffusion Autoencoders for 3D Medical Vision Representation Learning
把「空间掩码 + 扩散加噪」两种破坏叠加成统一的时间条件去噪目标,让同一网络同时学结构重建与纹理去噪;做3D医学(或任何低标注3D体数据)自监督预训练时,可直接借用这套双破坏预训练范式替代单一MAE或对比学习。
双曲 Busemann 神经网络
Hyperbolic Busemann Neural Networks
把 MLR 和全连接层搬到双曲空间(BMLR/BFC),为需要建模层级/树状结构的视觉表征(如类别层级分类、细粒度识别、图结构视觉数据)提供可直接替换的层,且参数更紧凑、批量计算更高效。
Hier-COS:通过正交子空间组合使深度特征具备层次感知能力
Hier-COS: Making Deep Features Hierarchy-aware via Composition of Orthogonal Subspaces
Hier-COS 提供了一种将预训练骨干网络(如 ViT)的冻结特征转换为层次感知表征的通用框架,其正交子空间组合机制可被视觉研究者复用于需要结构化语义先验的细粒度分类任务。
面向扩散生成图像检测的跨模态表征学习
Cross-modal Representation Learning for Diffusion-generated Image Detection
提出跨模态对比学习与互蒸馏,将RGB与邻域像素关系模态的特征对齐,学习伪造感知嵌入空间,可直接用于提升扩散生成图像检测的泛化性。
面向多视图聚类的簇感知锚框学习
Cluster-aware Anchor Learning for Multi-View Clustering
把锚框数量从全局固定改为按簇自适应分配,并用 l2,1 列稀疏自动决定每簇保留多少锚框,这一思路可直接迁移到视觉中的大规模聚类、检索与表征压缩场景,例如对多视图/多模态视觉特征做可扩展聚类时替代固定锚框的 k-means 类方法。
面向医学视频诊断的临床依据反事实推理
Clinically-Grounded Counterfactual Reasoning for Medical Video Diagnosis
用扩散模型合成反事实组织演变视频,并通过时序一致性、病理可分性与反事实对齐三项约束学习表征,为数据稀缺下的视频诊断提供可复用的反事实增强与对比预测范式。
以上下文提示与噪声学习增强自监督跟踪
Boosting Self-Supervised Tracking with Contextual Prompts and Noise Learning
提出一种仅在训练阶段生效的双模态上下文关联机制:先用实例图像块提示引导前向/后向跟踪分支学习,再逐步注入上下文噪声扰动特征以增强鲁棒性,推理时无额外开销,可直接迁移到其他自监督视频跟踪框架。