Tag · 17 篇
表征对齐
视觉基础模型可以成为潜扩散模型的优秀分词器
Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models
把冻结的视觉基础模型（如 DINO 类语义特征）直接当作潜扩散模型的分词器，并配一个从语义特征重建真实图像的解码器，可显著加快扩散训练收敛；做 LDM 的人可以据此替换 VAE 分词器，做表征学习的人可借鉴其双侧对齐训练策略。
独特人生，共享世界：从单人生视频中学习
Unique Lives, Shared World: Learning from Single-Life Videos
提出仅用单个人第一人称视频进行自监督训练视觉编码器的范式，并设计跨注意力指标量化不同模型内部表征的功能对齐，为利用无标注个人视频学习通用几何表征提供了新思路。
面向层次化视觉识别的分类学感知表征对齐：结合大型多模态模型
Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models
把生物基础模型经层次对比学习得到的表征，通过中间层特征对齐注入 LMM，为视觉研究者提供了一种无需重训即可让多模态模型获得分类学结构先验、并泛化到新类别的可复用对齐手段。
用方差扩张损失驯服潜扩散模型中的采样扰动
Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models
针对潜空间扩散模型的 tokenizer 训练环节，提出方差扩张损失来抑制 b-VAE 潜空间的方差坍缩，使潜流形对扩散采样中的随机扰动更鲁棒；做 LDM/DiT 类生成时可直接替换或叠加到 VAE 微调目标中，无需改动扩散主干。
SRA 2：面向高效扩散训练的变分自编码器自表征对齐
SRA 2: Variational Autoencoder Self-Representation Alignment for Efficient Diffusion Training
利用预训练 VAE 的重建特征作为内在监督信号，通过轻量投影层对齐扩散 Transformer 的中间潜变量，无需外部编码器即可加速训练收敛，为扩散模型训练提供了一种低成本的正则化手段。
重新审视图像质量评估中的知识迁移：感知偏好结构对齐视角
Rethinking Knowledge Transfer in Image Quality Assessment: A Perceptual Preference Structure Alignment Perspective
对做IQA或任何需要跨数据集迁移的视觉任务，PPR/PPC提供了一种无需训练、可解释的源数据筛选准则：用视觉特征与质量分数的相关性刻画数据集特有的偏好结构，再据此挑选与目标域偏好结构一致的源样本，可直接用于跨域微调前的数据选择。
表征引导的增量适配器微调用于预训练模型类增量学习
Representation-Steered Incremental Adapter-Tuning for Class-Incremental Learning with Pre-Trained Models
提出单一共享适配器与表征引导损失，避免类增量学习中参数随任务线性增长，并用残差自编码投影器对齐新旧任务特征分布，为视觉模型持续学习提供参数高效且表征一致的方案。
关系视觉相似性
Relational Visual Similarity
提出关系相似度这一新度量维度，并给出可操作的构建方法：用匿名化描述关系逻辑的caption微调VLM，使表征空间按关系结构而非表观属性聚类，可直接用于检索、类比推理等需要超越LPIPS/CLIP/DINO的场景。
Proxy3D：通过语义聚类与对齐为视觉语言模型构建高效三维表征
Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
用语义感知聚类把视频帧特征压缩成一组 3D 代理 token 替代像素对齐的视觉序列，为 VLM 提供紧凑且具空间一致性的视觉输入；做 3D 空间推理或多模态大模型视觉编码器压缩时可复用这一「聚类成代理 + 多阶段对齐」范式。
面向多视图聚类的多层级对比谱融合
Multi-Hierarchical Contrastive Spectral Fusion for Multi-View Clustering
把深度谱嵌入直接嵌入编码器以保留局部流形结构，并配合视图级/共识级的多层级对比损失，可作为多视图或多模态特征融合时提升聚类友好性与跨视图一致性的可复用训练范式。
建模大脑的语法：ROI 引导的 fMRI 预训练用于可迁移与可解释的视觉解码
Modeling the Brain's Grammar: ROI-Guided fMRI Pretraining for Transferable and Interpretable Vision Decoding
把 Matryoshka 式嵌套嵌入压缩与 ROI 级稀疏上下文融合用于跨被试 fMRI 预训练，为视觉解码提供可迁移、可按脑区归因的表征；做脑-视觉对齐或多被试表征对齐的研究者可直接借用其 ROI 级 token 化与嵌套压缩思路。
Mirai：自回归视觉生成需要前瞻
Mirai: Autoregressive Visual Generation Needs Foresight
把「未来词元」的监督信号（显式多步未来表征或匹配的双向表征）注入自回归训练，无需改架构、无额外推理开销，可直接套用到 LlamaGen、VAR 类图像生成模型的训练流程中以加速收敛并降低 FID。
MacTok：面向图像生成的鲁棒连续分词器
MacTok: Robust Continuous Tokenization for Image Generation
MacTok 通过随机掩码和 DINO 引导的语义掩码来正则化潜变量学习，结合全局与局部表征对齐，防止少词元下的后验坍塌，为视觉生成提供了一种高效的一维连续分词方案，可直接用于扩散模型的前端压缩。
学习以视角不变潜动作实现鲁棒行动
Learning to Act Robustly with View-Invariant Latent Actions
把跨轨迹的转移模式压缩成潜动作，并用真实动作序列做引导对齐，为视觉表征注入物理动力学约束；做具身策略或需要视角鲁棒表征时，可把这一潜动作对齐目标当作预训练任务复用。
FedARA：异构边缘设备上基于锚驱动表征对齐的资源自适应低秩个性化联邦学习
FedARA: Resource-adaptive Low-rank Personalized Federated Learning via Anchor-driven Representation Alignment on Heterogeneous Edge Devices
低秩分解+重构融合的共享特征提取器方案，允许各客户端按本地资源自选秩值，可直接迁移到视觉模型在异构边缘设备上的分布式协同训练与通信压缩；锚驱动的表征一致性学习则为解决非IID视觉数据下特征空间漂移提供了可复用的对齐思路。
DiverseDiT：面向扩散 Transformer 中多样化表征学习
DiverseDiT: Towards Diverse Representation Learning in Diffusion Transformers
对做 DiT 图像生成的人，这篇给出了一个可直接插入任意 DiT 主干的正则手段：跨块长残差连接 + 表征多样性损失，用来替代或补充 REPA 式外部编码器对齐，并报告了收敛加速与一步生成下的收益。
CaTok：驯服平均流实现一维因果图像分词
CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization
把图像压缩成一维因果词元序列并用 MeanFlow 解码器做一步/多步采样，可直接作为视觉自回归生成的前端分词器替换方案；REPA-A 用视觉基础模型特征对齐编码器，是一种可复用的稳定训练正则化手段。