Tag · 2 篇
马氏距离
分布 高效模型与推理加速1自监督与表征学习1
01 02
精简知识蒸馏
Streamlined Knowledge Distillation
提供了一种仅用 logit 的蒸馏损失设计：用归一化 logit 的 Gram 矩阵加马氏距离（Tikhonov 正则化 + Cholesky 分解稳定）传递方向性知识，可即插即用地替换视觉模型压缩中常用的特征蒸馏，省去多层特征对齐的工程开销。
HyCal：面向跨学科少样本类增量学习的免训练原型校准方法
HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning
在冻结的 CLIP 嵌入上，用余弦相似度与马氏距离互补地校准类原型，可作为一种免训练的原型修正手段，直接迁移到少样本/增量式的开放词表识别与跨域检索场景。