随机投影

2ndMatch：通过二阶雅可比匹配微调剪枝后的扩散模型

2ndMatch: Finetuning Pruned Diffusion Models via Second-Order Jacobian Matching

把稠密教师模型对扰动的敏感度（J^⊤J）作为迁移信号来微调剪枝后的扩散模型，是一种与架构无关的通用微调手段，可直接套用到 U-Net 或 Transformer 扩散模型的压缩流程中，也可迁移到其他需要从教师模型迁移二阶信息的蒸馏场景。