logit蒸馏

精简知识蒸馏

Streamlined Knowledge Distillation

提供了一种仅用 logit 的蒸馏损失设计：用归一化 logit 的 Gram 矩阵加马氏距离（Tikhonov 正则化 + Cholesky 分解稳定）传递方向性知识，可即插即用地替换视觉模型压缩中常用的特征蒸馏，省去多层特征对齐的工程开销。