Tag · 99 篇
知识蒸馏
视觉语言模型引导的最优传输无源域自适应
Vision-Language Model Guided Source-Free Domain Adaptation via Optimal Transport
用预训练 VLM 的语义先验替代不可靠伪标签来构造目标特征与源原型的 OT 匹配，并配合模型↔VLM 双向蒸馏交替训练，可作为无源域自适应、测试时无标签迁移场景下替代伪标签自训练的通用范式。
VLM4RSDet：协同优化与视觉语言模型增强遥感目标检测
VLM4RSDet: Collaborative Optimization with Vision-Language Model for Enhancing Remote Sensing Object Detection
提出一种协同训练框架，利用视觉语言模型的先验知识增强闭集遥感目标检测器，推理时仅保留标准检测架构，避免额外开销；其全局-局部交叉注意力模块和可学习分层预测策略可迁移到其他检测任务中。
VL-Eraser：面向视觉语言模型机器遗忘的真空蒸馏
VL-Eraser: Vacuum Distillation for Machine Unlearning in Vision-Language Models
VL-Eraser 将遗忘目标解耦到低秩适配器中，通过删除适配器参数实现遗忘，为视觉语言模型提供了一种可复用的事后知识移除手段，尤其适用于需要移除敏感内容同时保持跨模态对齐的场景。
面向多模态大语言模型的不确定性感知知识蒸馏
Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models
把教师监督视为学生激活上的 Gibbs 先验，可导出闭式的不确定性感知权重，可直接套用到任意蒸馏损失上；做 VLM 蒸馏或小模型压缩时，可用它按样本自适应调节教师信号强度，避免噪声样本与教师不确定样本的过度影响。
基于浅层编码器的超低码率感知图像压缩
Ultra-Low Bitrate Perceptual Image Compression with Shallow Encoder
用浅层编码器加单步扩散解码器做非对称极低码率压缩，为边缘设备上的图像传输提供了可复用的「轻编码、重解码」范式，其中双侧特征蒸馏可迁移到其他编码器轻量化场景。
UETrack：统一高效的单目标跟踪框架
UETrack: A Unified and Efficient Framework for Single Object Tracking
Token-Pooling-based Mixture-of-Experts 和 Target-aware Adaptive Distillation 可复用于多模态视觉任务的高效部署，在保持精度的同时显著降低计算开销。
面向长尾视觉识别的可信校准协同学习
Trust-calibrated Collaborative Learning for Long-Tailed Visual Recognition
针对多专家互蒸馏中的错误传播与错误固化问题，提出知识质量门控与尾部类补偿机制，可迁移到任何采用多专家/集成蒸馏的视觉识别框架中，用于抑制专家间错误共识。
仅训练期异构图像块-文本图监督用于提升少样本学习适配器
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
把训练期的异构图教师（多尺度图像块+文本提示的图 Transformer）蒸馏进 Tip-Adapter 的键值缓存，测试时零额外延迟，为视觉研究者提供了一种「训练加料、推理不变」的少样本 CLIP 适配增强范式。
面向无约束第一人称视频的稳定自监督物体表征
Towards Stable Self-Supervised Object Representations in Unconstrained Egocentric Video
用帧内蒸馏加深度正则化从无标注第一人称视频中自举出稳定的『原型物体』表征，并用教师过滤的时序一致性维持身份，可直接迁移到无监督目标发现与自监督预训练的表征稳定化环节。
教师引导路由的稀疏视觉混合专家
Teacher-Guided Routing for Sparse Vision Mixture-of-Experts
提出用预训练稠密教师模型的中间表示构建教师路由器，为学生路由器的专家选择提供伪监督，从而稳定稀疏MoE训练中的路由波动；这一思路可直接迁移到视觉MoE模型（如V-MoE）的训练中，提升高稀疏配置下的路由一致性与精度。
抑制噪声导致的原型退化：面向隐私保护的个性化联邦微调
Taming Noise-Induced Prototype Degradation for Privacy-Preserving Personalized Federated Fine-Tuning
为视觉多域个性化联邦微调提供客户端隐私插件：按维度类别方差分配各向异性噪声、并用蒸馏引导裁剪正则化把特征范数压到裁剪阈值附近，可直接替换 ProtoPFL 中的各向同性高斯扰动以改善隐私-效用权衡。
TSTM：面向视觉强化学习泛化的任务相关掩码时序分割
TSTM: Temporal Segmentation for Task-relevant Mask in Visual Reinforcement Learning Generalization
TSTM 利用时序信息分割任务相关区域，并通过不变表征学习提升视觉 RL 策略的泛化性，其掩码生成与一致性约束思路可迁移到其他需要抑制背景干扰的视觉任务。
TM-BSN：用于真实世界自监督图像去噪的三角掩码盲点网络
TM-BSN: Triangular-Masked Blind-Spot Network for Real-World Self-Supervised Image Denoising
提出三角掩码卷积，在原始分辨率下构造菱形盲点以匹配去马赛克噪声的相关性几何，避免下采样带来的噪声统计改变和上下文损失；并用知识蒸馏将多个盲点预测集成到轻量U-Net，为真实图像自监督去噪提供了可复用的架构设计。
TIPSv2：以增强的图像块-文本对齐推进视觉-语言预训练
TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment
论文提出的 iBOT++ 让未掩码 token 也直接参与损失，并证明图像块级蒸馏可显著增强稠密图像块-文本对齐（学生甚至超过教师），为需要稠密视觉-语言对齐的下游任务（分割、深度预测、开放词表定位）提供了可复用的预训练配方。
面向微小密集目标分割的结构感知表征蒸馏
Structure-Aware Representation Distillation for Tiny-Dense Object Segmentation
把教师特征的结构重要性（边界显著性、几何复杂度、局部特征变化）做成加权图来引导蒸馏损失，可直接迁移到任何密集预测任务的师生对齐中，替代逐像素 mask 模仿。
精简知识蒸馏
Streamlined Knowledge Distillation
提供了一种仅用 logit 的蒸馏损失设计：用归一化 logit 的 Gram 矩阵加马氏距离（Tikhonov 正则化 + Cholesky 分解稳定）传递方向性知识，可即插即用地替换视觉模型压缩中常用的特征蒸馏，省去多层特征对齐的工程开销。
StableMaterials：通过半监督学习增强材质生成的多样性
StableMaterials: Enhancing Diversity in Material Generation via Semi-Supervised Learning
把 SDXL 的对抗式蒸馏用于潜扩散模型，可在无标注条件下扩展生成分布，这一思路可迁移到其他数据稀缺的生成任务（如特定风格纹理、领域受限图像）；其四步潜一致性蒸馏加去伪影的 tileable 采样技巧，对需要快速、无缝生成的视觉应用有直接参考价值。
稳定含噪预训练模型的特征几何以提升下游任务鲁棒性
Stabilizing Feature Geometry in Noisy Pretrained Models for Robust Downstream Tasks
对做预训练-微调视觉模型的人，这篇给出一个可复用的诊断量 PDA 来量化噪声预训练模型的主特征子空间旋转，并用扰动一致性、方差-激活正则与特征一致性蒸馏把子空间拉回干净模型的方向，可直接用于清洗噪声数据后的模型修复或鲁棒微调。
SpeeDe3DGS：基于时序剪枝与运动分组的快速可形变三维高斯泼溅
SpeeDe3DGS: Speedy Deformable 3D Gaussian Splatting with Temporal Pruning and Motion Grouping
对做动态 3DGS 的人，这篇给出了一套把逐高斯神经推理换成共享 SE(3) 群变换 + 时序敏感剪枝的加速范式，可直接迁移到任何带神经运动场的可形变场景表示上，在几乎不掉画质的前提下把渲染提速一个数量级。
面向卫星影像的光谱蒸馏表征与指令增强 LLM 对齐
Spectrally Distilled Representations Aligned with Instruction-Augmented LLMs for Satellite Imagery
用冻结的多光谱教师模型向 RGB 学生模型蒸馏光谱先验，再把视觉空间对齐到指令增强 LLM 的嵌入空间，使推理阶段只需 RGB 输入即可获得光谱感知的跨模态表征；这套「教师蒸馏 + LLM 对齐」的两阶段范式可直接迁移到遥感或其他多模态缺失场景的视觉语言预训练。
SkillSight：基于注视的高效第一人称技能评估
SkillSight: Efficient First-Person Skill Assessment with Gaze
把注视信号作为第一人称视频理解的额外模态，并用教师-学生蒸馏把多模态模型压缩成仅注视输入的轻量模型，为可穿戴设备上的低功耗视觉感知提供了可复用的范式。
面向少样本类增量学习的语义引导全局-局部协同提示词学习
Semantic-Guided Global-Local Collaborative Prompt Learning for Few-Shot Class Incremental Learning
利用冻结的视觉语言模型原型与 LLM 生成的语义描述做全局-局部双对齐提示词学习，为视觉研究者提供了一种在少样本增量场景下抑制灾难性遗忘与过拟合的可复用范式，可直接迁移到开放词表识别与持续学习式视觉分类。
SemLT3D：语义引导的专家蒸馏用于纯视觉长尾三维目标检测
SemLT3D: Semantic-Guided Expert Distillation for Camera-only Long-Tailed 3D Object Detection
针对纯视觉三维目标检测中的长尾分布问题，提出语言引导的混合专家路由与CLIP语义投影蒸馏，可复用于其他长尾三维感知任务以增强稀有类表征。
面向视频常识描述的自批判蒸馏网络
Self-Critical Distillation Network for Video-based Commonsense Captioning
论文把「视频→内容描述→常识」的推理链改造成带奖励函数的自批判学习加级联解码器蒸馏，可复用于任何需要让语言输出更依赖视觉证据、并在多个相关类别间共享推理的视觉-语言生成任务。
SelecTKD：面向大语言模型的选择性词元加权知识蒸馏
SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
对做多模态大模型压缩的视觉研究者，可把教师验证的接受/拒绝词元掩码机制直接套到 VLM 蒸馏上，替代对所有词元一视同仁的 KL 损失，在容量差距大时抑制高熵噪声监督。
从视觉基础模型扩展密集事件流预训练
Scaling Dense Event-Stream Pretraining from Visual Foundation Models
提出结构感知蒸馏损失，利用视觉基础模型（VFM）的语义结构作为监督信号，解决事件流与图像跨模态对齐中的语义坍缩问题，可复用于其他模态（如事件、深度、热成像）与VFM的对齐预训练。
SPAR：面向开放词表分割的单次任意分辨率视觉 Transformer
SPAR: Single-Pass Any-Resolution ViT for Open-vocabulary Segmentation
SPAR 通过特征回归蒸馏，将滑窗教师的空间推理能力迁移到单次前向的学生模型，使 ViT 无需架构改动即可高效处理任意分辨率输入，可直接用于开放词表分割等密集预测任务的高分辨率推理。
SIF：面向大型视觉语言模型的语义分布内指纹
SIF: Semantically In-Distribution Fingerprints for Large Vision-Language Models
对做 LVLM 版权保护或模型溯源的研究者，SIF 给出了一条不修改参数、把文本水印信号蒸馏进视觉模态的指纹注入路径，并配套模拟最坏情况表征扰动的鲁棒优化，可直接迁移到任意 LVLM 的所有权验证与指纹隐蔽性评估。
重新审视概念瓶颈模型：从缺陷到解决方案
Rethinking Concept Bottleneck Models: From Pitfalls to Solutions
为基于概念的预测提供可复用的评估与改进框架：用熵指标预评估概念集与数据集的匹配度，在概念激活与分类器之间插入非线性层以消除线性绕过问题，并用线性教师探针引导的蒸馏损失缩小与黑箱模型的精度差距；同时系统分析不同视觉编码器与 VLM 对精度和可解释性的影响，可直接用于构建可解释的图像分类流程。
先恢复再预测：面向变长轨迹预测的渐进式回溯学习
Recover to Predict: Progressive Retrospective Learning for Variable-Length Trajectory Prediction
针对变长/不完整观测下的轨迹预测，用级联回溯单元逐步把不完整观测特征对齐到完整观测特征，并以滚动起点训练提升数据效率；该「由短到长渐进恢复」思路可迁移到任何存在观测缺失的时序视觉预测任务。
RecTok：沿整流流的重建蒸馏
RecTok: Reconstruction Distillation along Rectified Flow
把视觉基础模型的语义蒸馏进流匹配的前向流轨迹而非潜空间，使高维视觉分词器不再受维度-生成质量权衡限制，可直接替换扩散 Transformer 的 tokenizer 以提升重建与生成质量。
ReHyAt：面向视频扩散 Transformer 的循环混合注意力
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
把 softmax 注意力的保真度与线性注意力的效率结合成 chunk 级循环形式，并给出从已有双向 softmax 视频扩散模型蒸馏到混合注意力的低成本配方，可直接用于把长视频生成模型扩展到线性复杂度。
重新审视持续视觉问答：面向多模态持续学习的公平与鲁棒评测
Re-evaluating Continual VQA: Toward Fair and Robust Evaluation for Multimodal Continual Learning
对做多模态持续学习的人，这篇论文指出共享答案词表与静态答案先验会系统性高估性能、低估遗忘，并给出可复用的无偏基准构造方式（token 级不相交答案空间 + 任务内训练-测试分布偏移）；其 question-only replay 与双层蒸馏基线也可作为轻量防遗忘的对照方案。
RADAR：VAR的VQ-VAE解码器是加速退化恢复的好学生
RADAR: VQ-VAE Decoder of VAR is a Good Student for Restoring Against Degradation by Acceleration
针对VAR中跨尺度注意力语义偏置问题，提出语义代价感知的注意力掩码与解码器端LoRA知识蒸馏恢复，为视觉自回归生成提供可复用的加速与保真平衡方案。
面向预训练模型类增量学习的量子门控任务交互知识蒸馏
Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning
提出量子门控任务调制机制，动态建模任务嵌入间的依赖关系，并以此引导跨任务适配器的知识蒸馏，为视觉类增量学习提供了一种缓解灾难性遗忘的可复用技术路径。
渐进式掩码蒸馏用于自监督视频表征
Progressive Mask Distillation for Self-supervised Video Representation
把「由易到难」的课程式蒸馏引入掩码视频建模：用低掩码率学生模型的知识去指导高掩码率学生模型，并配合区域级损失加权与跨层特征对齐，可直接迁移到任何 MAE 类视频/图像预训练框架中提升高掩码率下的细节重建。
面向按相机联邦行人重识别的姿态引导增强特征学习
Pose-guided Enriched Feature Learning for Federated-by-camera Person Re-identification
在每客户端仅单相机的联邦设定下，用姿态解耦模块把特征拆成姿态相关/无关分量并跨身份重组，合成姿态交换特征来增强对比学习，可直接迁移到其他需要扩充姿态多样性的ReID或行人表征学习流程。
PointCSP：自监督点云学习中的跨样本语义传播与稳定性保持
PointCSP: Cross-Sample Semantic Propagation and Stability Preservation in Self-Supervised Point Cloud Learning
把 batch 内多个场景点云串行化为连续序列、用状态空间模型做跨样本语义状态传播，为 3D 自监督预训练提供了一种突破「样本独立建模」的新范式；配套的非对称语义保持蒸馏可迁移到任何「预训练依赖 batch 组织、微调却是单样本」的表征学习场景。
PersonaLive！面向直播的富有表现力肖像图像动画
PersonaLive! Expressive Portrait Image Animation for Live Streaming
面向实时流媒体场景，用少步外观蒸馏压缩去噪步数、用自回归微块流式生成加滑动训练与历史关键帧机制保证长时稳定，这套「蒸馏提速 + 分块流式」组合可直接迁移到其他需要低延迟长视频生成的扩散模型上。
PatchAlign3D：面向密集三维形状理解的局部特征对齐
PatchAlign3D: Local Feature Alignment for Dense 3D Shape Understanding
提出仅编码器的点云 Transformer，通过两阶段训练（DINOv2 密集特征蒸馏 + 多正对比对齐部件文本嵌入）实现零样本 3D 部件分割，单次前向推理无需多视角渲染，为 3D 局部理解提供高效可复用的表征学习方案。
POUR：基于神经坍缩的可证明最优表征遗忘方法
POUR: A Provably Optimal Method for Unlearning Representation via Neural Collapse
把机器遗忘从分类器层推进到表征层，用 Neural Collapse 下 simplex ETF 的正交投影给出闭式最优遗忘算子，并提供蒸馏式特征级变体；做视觉模型隐私删除或概念擦除时可直接复用该投影算子与 RUS 指标来评估表征是否真正被遗忘。
PDD：面向医学异常检测的流形先验多样性蒸馏
PDD: Manifold-Prior Diverse Distillation for Medical Anomaly Detection
把双教师（VMamba 全局上下文 + wide-ResNet50 局部结构）先验统一到共享高维流形再蒸馏给双学生，并用多样性损失防表征坍缩；这套「流形匹配统一 + 双学生互补蒸馏」可直接迁移到工业/医学以外的无监督异常检测与多源特征融合场景。
NuWa：为边缘设备推导轻量级类别特定视觉 Transformer
NuWa: Deriving Lightweight Class-Specific Vision Transformers for Edge Devices
对需要在无人机、智能车等边缘设备上部署 ViT 的视觉研究者，NuWa 提供了一种免重训练的闭式剪枝流程：用类别特定数据做自知识纯化，剔除对目标类别有害的权重，再一次性闭式求解得到紧凑子网，可直接复用于任意类别子集的定制化部署。
NoOVD：面向开放词表目标检测的新类别发现与嵌入
NoOVD: Novel Category Discovery and Embedding for Open-Vocabulary Object Detection
利用冻结视觉语言模型的知识进行自蒸馏，引导RPN和RoI头发现新类别目标，避免被误判为背景；并通过R-RPN在推理时调整候选框置信度，提升新类别召回率。
NanoSD：面向实时图像复原的边缘高效基础模型
NanoSD: Edge Efficient Foundation Model for Real Time Image Restoration
NanoSD 通过联合压缩 U-Net 和 VAE 编码器-解码器，在保持生成先验的同时实现边缘设备实时推理，为视觉任务提供可即插即用的轻量扩散基础模型，并揭示了参数减少与硬件效率不直接相关的设计原则。
面向计算病理学知识蒸馏的动量记忆
Momentum Memory for Knowledge Distillation in Computational Pathology
用动量更新的跨批次记忆库替代批次内对齐，把基因组监督蒸馏进纯组织学推理模型，并解耦双分支梯度；这套「记忆库扩大监督上下文 + 梯度解耦」的做法可直接迁移到其他缺失模态的多模态蒸馏场景（如影像-文本、影像-临床指标）。
建模跨视觉协同的统一大视觉模型
Modeling Cross-vision Synergy for Unified Large Vision Model
PolyV 的稀疏混合专家架构与动态模态路由器为视觉多模态统一模型提供了可复用的设计范式，其协同感知训练策略（模态特定预训练+知识蒸馏+对象/关系级对齐）可直接用于提升视觉模型在跨模态推理任务上的表现。
Mobile-VTON：高保真端侧虚拟试衣
Mobile-VTON: High-Fidelity On-Device Virtual Try-On
论文提出的 Feature-Guided Adversarial 蒸馏策略与潜变量拼接式轻量跨模态条件注入，为在移动端部署扩散类生成模型提供了可复用的压缩与条件控制方案；做端侧图像生成或可控生成的研究者可借鉴其教师-学生蒸馏与轨迹一致性损失的设计。
基于掩码双路径蒸馏的渐隐侧网络内存高效迁移学习
Memory-Efficient Transfer Learning with Fading Side Networks via Masked Dual Path Distillation
对做视觉大模型适配的人，这篇给出了一个可直接复用的思路：微调时让冻结主干与可学习侧网络互相蒸馏，推理时直接丢掉侧网络，从而在不增加推理开销的前提下获得侧网络的适配收益；其面向多层编码器的特征蒸馏设计也可迁移到 ViT 类主干的 PEFT 方案中。
掩码教师与强化学生：面向视觉语言模型的蒸馏方法
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
提出一种掩码渐进式强化学习蒸馏框架，通过逐步恢复教师模型容量和离线RL奖励机制，解决大模型到小模型蒸馏中的不稳定性问题，为视觉语言模型的高效压缩与部署提供可复用技术路径。
MagicFuse：用于视觉与语义增强的单图像融合
MagicFuse: Single Image Fusion for Visual and Semantic Reinforcement
利用扩散模型从单张退化可见光图像生成跨光谱场景表示，通过融合两个扩散分支的噪声实现知识级融合，为单模态输入下的多模态融合提供了新思路。
机器心理意象：以潜视觉 token 增强多模态推理
Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
把 VLM 的隐藏状态直接当作「潜视觉 token」续写到解码轨迹里，替代显式生成图像来做视觉想象，为多模态推理提供了一条不依赖图像生成器的中间表示路径；其「先蒸馏图像嵌入、再纯文本监督、最后 RL 微调」的三段式训练流程可直接迁移到其他需要视觉中间步骤的 VLM 任务。
MGDHand：面向稀疏 IMU 序列三维手部姿态估计的多粒度先验到惯性蒸馏框架
MGDHand: Multi-Granularity Prior-to-Inertial Distillation Framework for Sequential 3D Hand Pose Estimation from Sparse IMUs
把视觉侧 MANO 融合教师模型的静态形状、动态关节运动学与速度/加速度先验，按粒度解耦蒸馏到稀疏 IMU 学生模型，为视觉-惯性跨模态蒸馏提供了可复用的「按信息密度分层对齐」思路，可直接迁移到人体姿态、动捕等稀疏传感器设定。
LightRR：一种用于单图像去反射的轻量级网络
LightRR: A Lightweight Network for Single Image Reflection Removal
把 DWT 频域分解与 Mamba 状态空间建模结合成非对称频域模块，在低分辨率子带上做长程依赖建模，为轻量化复原网络提供了可复用的频域-序列混合骨干设计；同时用知识蒸馏把大预训练编码器的表征迁移到小模型，是低算力部署场景下值得借鉴的训练范式。
自我学习：从视觉语言模型内部挖掘知识用于持续学习
Learning from Itself: Mining Internal Knowledge from Vision Language Models for Continual Learning
把 CLIP 的文本编码器当作可挖掘的内部监督源：通过优化可学习 token 生成伪描述来弥合预训练-下游分布差距，并用按瞬时性能加权的双向蒸馏在视觉分类器与文本编码器之间迁移知识，推理时零额外开销——这套「模型自教」流程可直接迁移到任何需要持续适配的视觉-语言下游任务。
LIFT 与 PLACE：一个简单、稳定且有效的轻量扩散模型知识蒸馏框架
LIFT and PLACE: A Simple, Stable, and Effective Knowledge Distillation Framework for Lightweight Diffusion Models
把教师扩散模型复杂的去噪轨迹拆成「粗对齐 + 精修」两阶段，并用按误差分组的分段局部自适应系数做空间非均匀引导，可直接用于把大 U-Net/DiT 扩散模型蒸馏到极小参数量学生模型（1.3M 参数仍收敛到 FID 15.73），是少步/轻量扩散部署的可复用训练配方。
LEMON：面向手术场景感知的大规模内窥镜单目数据集与基础模型
LEMON: A Large Endoscopic MONocular Dataset and Foundation Model for Perception in Surgical Settings
LEMON 提供了迄今最大规模的手术视频数据集（938 小时、8500 万帧），并配套一个通过自监督增强知识蒸馏预训练的基础模型 LemonFM；对视觉研究者而言，这是一个可直接用于手术场景下游任务（阶段识别、动作识别、器械检测、语义分割）的大规模预训练资源，其数据聚合流程与自监督蒸馏策略也可迁移到其他标注稀缺的领域。
Iris：将真实世界先验引入扩散模型用于单目深度估计
Iris: Bringing Real-World Priors into Diffusion Model for Monocular Depth Estimation
把扩散模型的生成先验按频段拆开使用：低频用真实数据蒸馏、高频用合成真值约束，并通过高到低的时间步调度共享权重，这套「先验-几何」两阶段确定性采样思路可直接迁移到其他以扩散先验做稠密回归的视觉任务（如表面法向、光流）。
干预感知的多尺度表征学习：从成像表型组学到扰动转录组学
Intervention-Aware Multiscale Representation Learning from Imaging Phenomics and Perturbation Transcriptomics
提出一种干预感知的蒸馏框架，利用转录组学教师模型指导仅图像的student模型，在测试时无需转录组数据即可预测干预语义；其基于化学感知码本和剂量解耦的设计，可迁移到其他需要从图像预测干预效果或处理弱配对多模态数据的视觉任务中。
基于未来感知解耦跨头蒸馏的增量目标检测
Incremental Object Detection via Future-Aware Decoupled Cross-Head Distillation
把检测头与骨干网络的训练解耦，并用两个冻结的互补教师对学生的 ROI 特征做跨头蒸馏，可直接迁移到任何需要缓解灾难性遗忘的增量检测/分割框架中。
以人为中心的多曝光融合：基准与双层认知蒸馏框架
Human-Centric Multi-Exposure Fusion: Benchmark and Bi-level Cognition Distillation Framework
把EEG认知信号作为教师端的先验来监督低层视觉特征学习，再蒸馏到只用图像输入的轻量学生网络，为「用生理信号定义感知质量、但推理时不需要生理信号」提供了一套可复用的双层优化范式，可直接迁移到去噪、增强等其它低层任务的主观质量对齐。
Hist2Style：直方图引导的双边网格风格化
Hist2Style: Histogram-Guided Stylization with Bilateral Grids
双边网格上的局部仿射变换可作为高分辨率实时图像编辑的通用算子，配合直方图嵌入实现可解释、可交互的颜色/色调控制，并可用大模型蒸馏出轻量网络，避免生成式幻觉。
HAD：面向终身异质学习的异质性感知蒸馏
HAD: Heterogeneity-Aware Distillation for Lifelong Heterogeneous Learning
提出无样本回放的异质知识蒸馏框架，通过分布平衡和显著性引导的蒸馏损失，在密集预测任务序列中保留不同输出结构的异质知识，可复用于多任务或持续学习场景。
面向语义分割的视觉基础模型可泛化知识蒸馏
Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation
把表征学习与任务学习解耦：先做选择性特征蒸馏得到域无关表征并冻结，再做任务适配，可作为一种通用的「先蒸馏表征、后微调任务」范式，用于任何需要从 VFM 迁移到小模型且要求分布偏移下泛化的视觉任务。
从选择到调度：联邦几何感知校正让样本回放在持续动态异构下更有效
From Selection to Scheduling: Federated Geometry-Aware Correction Makes Exemplar Replay Work Better under Continual Dynamic Heterogeneity
用固定的等角紧框架原型作为跨客户端共享的类判别参考结构，并通过成对角度相似性对齐做结构知识蒸馏，这一思路可直接迁移到视觉模型在类不平衡或非独立同分布数据下的表征漂移抑制与少样本类特征保护。
从注入到同化的蒸馏用于医学图像分割
From Infusion to Assimilation Distillation for Medical Image Segmentation
把知识蒸馏拆成「注入+同化」两阶段：先用类加权原型对齐软标签蒸馏对齐师生预测分布，再用对比式语义自优化对编码器特征施加反向约束，可作为在算力受限场景下压缩 SAM 类基础模型到轻量分割网络的通用蒸馏范式。
Foundry：为边缘设备蒸馏 3D 基础模型
Foundry: Distilling 3D Foundation Models for the Edge
把大型自监督 3D 基础模型蒸馏成紧凑的 SuperTokens 代理模型，学生重建教师 token 级表征，可直接用于点云分类、部件分割等下游任务的轻量化部署，为边缘端 3D 感知提供可复用的压缩范式。
锻造动态记忆：面向通用医学基础模型的检索引导持续学习
Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models
将检索增强生成（RAG）与持续学习结合，通过动态知识蒸馏缓解多模态医学VLM在领域迁移中的灾难性遗忘，为视觉-语言模型的持续学习提供可复用框架。
FlashVSR：面向实时扩散式流式视频超分辨率
FlashVSR: Towards Real-time Diffusion-Based Streaming Video Super Resolution
面向实时视频超分，提出三阶段蒸馏流水线把多步扩散压缩为单步流式推理，并用局部约束稀疏注意力弥合训练-测试分辨率差距；做扩散加速或高分辨率视频复原时可直接借鉴这两套机制。
FedRE：面向模型异构联邦学习的表征纠缠框架
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
对视觉研究者而言，这是一种在客户端模型架构不一致时仍能聚合表征的联邦训练范式：用归一化随机权重把本地特征与 one-hot 标签编码分别聚合成单一纠缠表征与纠缠标签编码，再上传服务器训练全局分类器，可作为异构端侧视觉模型协同训练与隐私友好表征共享的可复用方案。
FedAFD：通过对抗融合与蒸馏实现的多模态联邦学习
FedAFD: Multimodal Federated Learning via Adversarial Fusion and Distillation
双层对抗对齐与相似度引导的集成蒸馏，为视觉研究者提供在数据不共享、模态与模型异构条件下融合跨模态表征的可复用机制，可直接迁移到多模态视觉模型的分布式协同训练。
Fast-FoundationStereo：实时零样本立体匹配
Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching
把基础模型（FoundationStereo）的零样本能力通过知识蒸馏+分块 NAS+结构化剪枝压到实时帧率，这套「大模型→单学生骨干+延迟预算下搜索代价滤波+剪枝迭代精化」的加速流水线可直接复用到其他稠密预测基础模型（深度、光流、分割）的实时化。
面向图像与视频的快速推理分割
Fast Reasoning Segmentation for Images and Videos
把推理分割的推理链蒸馏进 0.6B 小模型，用数字孪生表征解耦感知与推理，再以分割精度+推理质量联合奖励做强化微调，为边缘端实时开放词表分割提供可复用范式。
FVAR：面向视觉自回归建模的下一聚焦预测
FVAR: Next-Focus Prediction for Visual Autoregressive Modeling
将视觉自回归生成中的均匀降采样金字塔替换为基于物理散焦核的渐进聚焦金字塔，从源头消除混叠，可直接用于改进 VAR 类模型的细节生成质量。
先增强后平衡的模态协作框架用于鲁棒多模态情感分析
Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
对做多模态融合的视觉研究者，这篇提供了处理「视觉/音频弱模态被文本主导」的可复用思路：用能量势建模各模态贡献并做隐式梯度重平衡，再用样本级可靠性估计自适应调融合权重，可直接迁移到视觉-语言融合、缺失模态鲁棒性等场景。
EXOTIC：外部视觉驱动的非完整多视图分类
EXOTIC: External Vision-driven Incomplete Multi-view Classification
利用预训练视觉语言模型的外部知识作为监督信号来补全缺失视图，为多视图分类中的不完整数据问题提供了新思路，可迁移到其他需要跨模态对齐与补全的视觉任务。
EMAD：面向阿尔茨海默病的以证据为中心的可定位多模态诊断
EMAD: Evidence-Centric Grounded Multimodal Diagnosis for Alzheimer's Disease
把「句子→证据短语→3D MRI 解剖结构」的分层视觉定位机制与可验证奖励的强化微调结合，可复用于任何需要让生成式报告中的每条结论落到具体图像区域的可解释医学视觉语言任务；GTX-Distill 用弱监督教师向模型自生成报告的学生迁移定位行为，为降低密集标注成本提供了可借鉴范式。
Dynamic Magic：释放受限知识以实现终身行人重识别
Dynamic Magic: Unleashing Restricted Knowledge for Lifelong Person Re-Identification
把大预训练模型与动态扩展的模块化适配器结合，用域感知调度和相似度引导的自动选择器在推理时路由输入，为视觉里「持续学习新域又不遗忘旧域」提供了一套可复用的参数隔离+共享适配器协作框架。
面向高效非对称无人机跟踪的双分支蒸馏 Transformer
Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking
面向视觉跟踪的教师引导双分支蒸馏方案（特征级+预测级+目标感知细粒度蒸馏）可直接迁移到任意轻量骨干的跟踪器或检测器上，用于在压缩骨干的同时保住目标表征与定位精度；推理期时序自适应模块也提供了一个低开销提升时序鲁棒性的可复用插件。
面向高效视频生成的双粒度记忆
Dual-Granularity Memory for Efficient Video Generation
针对循环式视频生成模型的分块处理导致时序不连续问题，提出上下文记忆（sink 列+边界缓冲）与潜变量记忆（跨段检索历史 latent）两种机制，可直接迁移到任何 chunked 自回归/循环视频生成器以提升长程一致性，且无需相机标注或帧重建。
DocSeeker：面向长文档理解的结构化视觉推理与证据定位
DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding
针对长文档理解中低信噪比和监督稀缺问题，提出结构化视觉推理流程与证据感知的强化学习优化方法，可复用于需要定位关键视觉证据的多模态任务。
从3D高斯泼溅中蒸馏无符号距离函数用于表面重建
Distilling Unsigned Distance Function for Surface Reconstruction from 3D Gaussian Splatting
将基于合成代数曲面训练的 patch 级 UDF 先验蒸馏到 3D 高斯优化中，为开放表面重建提供近表面监督，可复用于其他隐式场与显式表示结合的几何学习任务。
蒸馏拟共形映射：一种可泛化且高效的广角校正方案
Distilling Quasi-Conformal Mapping: A Generalizable and Efficient Solution for Wide-Angle Correction
把拟共形映射的几何先验（Beltrami 能量 + 线结构/人体区域约束）做成无需标注的教师流程来生成校正光流标签，再用 Mamba 骨干 + soft-argmin 头蒸馏成单次前向的校正网络，可直接迁移到鱼眼/广角镜头畸变校正与光流式几何变换学习。
从有偏教师中蒸馏平衡知识
Distilling Balanced Knowledge from a Biased Teacher
把蒸馏目标拆成跨组损失与组内损失，并分别做组级校准与重加权，可直接用于任何长尾视觉分类任务中从有偏教师迁移平衡知识，也可迁移到检测/分割的长尾蒸馏。
DiT-Distill：通过生成式课程知识实现开放集细粒度检索
DiT-Distill: Open-Set Fine-Grained Retrieval via Generative Curriculum Knowledge
把 DiT 多时间步的生成式知识通过课程对齐损失蒸馏进轻量骨干网络，实现免 DiT 推理，为视觉检索/表征学习提供了一条「用生成模型当教师、按扩散时间步组织课程」的可复用蒸馏范式。
DeepAlign：通过模态特定对齐缓解模态冲突
DeepAlign: Mitigating Modality Conflict through Modality-Specific Alignment
针对视觉-语言表征错位与模态细节流失，提出表征干预加结构诱导知识蒸馏的对齐框架，可直接用于改进任意 MLLM 的视觉编码器到语言模型的投影对齐环节，并解锁交错图文序列上的多模态上下文学习。
基于功能连接矩阵生成式回放的fMRI脑部疾病诊断持续学习框架
Continual Learning for fMRI-Based Brain Disorder Diagnosis via Functional Connectivity Matrices Generative Replay
提出结构感知变分自编码器生成逼真的功能连接矩阵，并结合多级知识蒸馏与分层上下文赌博机自适应回放采样，为视觉领域处理非欧几里得图结构数据的持续学习提供可复用方案。
面向来自不同领域教师的持续蒸馏
Continual Distillation of Teachers from Different Domains
把「教师模型流式到达、且无法访问旧教师与教师训练数据」的持续蒸馏设定引入视觉模型压缩，用外部无标签数据上的 logits 保持来缓解跨域知识遗忘，可直接用于多源教师（如不同域检测/分割模型）合并到单一学生网络的场景。
CoFiDA-M：面向跨域自适应且仅需图像推理的概念感知特征调制
CoFiDA-M: Concept-Aware Feature Modulation for Cross-Domain Adaptation with Image-Only Inference
把只在训练期可得的稠密概率元数据（MONET 概念分数）经 FiLM 调制教师特征，再让学生回归被『编辑』后的特征空间而非仅拟合 logits，这一特权信息蒸馏范式可迁移到任何测试时缺失辅助模态的视觉任务。
通过蒸馏辅助的测试时自适应引导视频语义分割模型
Bootstrapping Video Semantic Segmentation Model via Distillation-assisted Test-Time Adaptation
将图像语义分割模型通过蒸馏 SAM2 的时序知识并配合轻量时序融合模块，在测试时自适应为视频语义分割模型，为无标注视频分割提供可复用范式。
超越弱监督：多模态大语言模型引导的分级知识蒸馏用于无监督伪装目标检测
Beyond Weak Supervision: MLLMs-Guided Graded Knowledge Distillation for Unsupervised Camouflaged Object Detection
提出利用多模态大语言模型（MLLM）结合思维链生成高质量伪标签，并通过分级知识蒸馏训练学生网络，为无监督密集预测任务提供了一种可复用的弱监督替代方案。
注意力手术：一种高效线性化视频扩散 Transformer 的配方
Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
提出一种无需从头训练即可将预训练视频扩散 Transformer 中的 softmax 注意力替换为线性或混合注意力的高效框架，结合蒸馏与微调，显著降低长视频生成的计算成本，为视觉生成模型的高效部署提供可复用方案。
抗退化终身多视图聚类
Anti-Degradation Lifelong Multi-View Clustering
零空间投影知识库防退化技术可迁移到视觉模型的持续学习场景，例如在增量式多视图特征学习或跨模态表征对齐中，通过约束新知识更新方向与旧知识正交来避免灾难性遗忘。
Air-Know：仲裁器校准的知识内化鲁棒网络用于组合图像检索
Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval
用 MLLM 作为离线专家构造高精度锚框数据集，再把判别逻辑内化到轻量代理仲裁器中，为视觉-语言检索中处理噪声对应关系提供了可复用的「专家-代理-分流」解耦范式。
基于三维美学场的相机视角美学建议
Aesthetic Camera Viewpoint Suggestion with 3D Aesthetic Field
用前馈 3D 高斯泼溅网络把预训练 2D 美学模型的打分蒸馏成三维美学场，使仅凭稀疏视角即可对新视角做美学预测；这套「2D 先验蒸馏进 3D 表示 + 粗采样加梯度精修」的流程，可迁移到任何需要在三维空间中优化相机或视角的视觉任务。
AVION：从离线教师到提示微调网络的遥感视觉-语言指令
AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network
用大语言模型生成并经验证筛选的文本原型作为教师信号，蒸馏到视觉-语言双塔的轻量可学习 prompt 中，推理时学生独立运行；这套「离线教师+prompt 微调」范式可直接迁移到其他专业成像域（医学、遥感、工业）的 CLIP 类模型适配。
AMap：蒸馏未来先验的前瞻感知在线高精地图构建
AMap: Distilling Future Priors for Ahead-Aware Online HD Map Construction
把「未来帧教师 + 当前帧学生」的蒸馏范式引入在线建图，用多层鸟瞰图蒸馏加空间掩码和非对称查询适配，让单帧模型零推理开销获得前瞻能力；对做自动驾驶感知、时序融合和特权信息蒸馏的视觉研究者可直接复用。
混合食谱让 DINO 成为杂食性视觉编码器
A Mixed Diet Makes DINO An Omnivorous Vision Encoder
把 DINOv2 这类单模态基础模型通过「跨模态对齐 + 冻结教师蒸馏」扩展成模态无关编码器，可直接复用于 RGB-D、分割图、深度图等多模态输入的统一特征提取与跨模态检索。
2ndMatch：通过二阶雅可比匹配微调剪枝后的扩散模型
2ndMatch: Finetuning Pruned Diffusion Models via Second-Order Jacobian Matching
把稠密教师模型对扰动的敏感度（J^⊤J）作为迁移信号来微调剪枝后的扩散模型，是一种与架构无关的通用微调手段，可直接套用到 U-Net 或 Transformer 扩散模型的压缩流程中，也可迁移到其他需要从教师模型迁移二阶信息的蒸馏场景。