大语言模型压缩

SelecTKD：面向大语言模型的选择性词元加权知识蒸馏

SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs

对做多模态大模型压缩的视觉研究者，可把教师验证的接受/拒绝词元掩码机制直接套到 VLM 蒸馏上，替代对所有词元一视同仁的 KL 损失，在容量差距大时抑制高熵噪声监督。