Tag · 4 篇

结构化剪枝

分布高效模型与推理加速3鲁棒性与安全1

Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers

对做扩散 Transformer 生成的人，这套「线性探针定位冗余层区间 + 深度/宽度联合剪枝 + 一次性教师-学生交替蒸馏」的流程可直接迁移到自己的 DiT/MMDiT 骨干上，无需为每个剪枝比例重训即可在 50% 参数下保持生成质量。

Neural Differentiation in Deep Networks: A Theoretical Framework for Expressivity and Representational Diversity

提出神经元级可微性指标 NDI 与训练时结构化剪枝方法 NDP，为视觉模型压缩提供可证明的误差上界与自适应稀疏化流程，可直接用于 CNN/ViT 等骨干网络的轻量化。

Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching

把基础模型（FoundationStereo）的零样本能力通过知识蒸馏+分块 NAS+结构化剪枝压到实时帧率，这套「大模型→单学生骨干+延迟预算下搜索代价滤波+剪枝迭代精化」的加速流水线可直接复用到其他稠密预测基础模型（深度、光流、分割）的实时化。

Bias In, Bias Out? Finding Unbiased Subnetworks in Vanilla Models

提出通过剪枝从标准训练模型中提取无偏子网络，无需额外数据或重训练，为视觉模型去偏提供高效的结构化方法，可复用于其他公平性任务。