Tag · 3 篇
线性探针
分布 可解释性与可视化1生成模型与扩散1高效模型与推理加速1
01 02 03
模型何时真正做出决策？映射预训练神经网络中的逐层决策时间线
When Do Models Actually Decide? Mapping the Layer-Wise Decision Timeline in Pretrained Neural Networks
该论文通过逐层线性探针揭示了预训练ResNet在前向传播中决策形成的层间时间线，为设计基于稳定性的早退机制提供了量化依据，并指出简单图像可能在网络早期即被决定，这对视觉模型推理加速和动态计算分配有直接启发。
通用正态嵌入
The Universal Normal Embedding
把 DDIM 反演得到的扩散噪声当作可线性探测的语义潜变量，用线性探针与正交化方向实现无需改架构的可控属性编辑；这为视觉研究者提供了一条把生成噪声与 CLIP/DINO 嵌入对齐、复用于编辑与表征分析的具体路径。
面向扩散 Transformer 的可插拔剪枝与连续层蒸馏
Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers
对做扩散 Transformer 生成的人，这套「线性探针定位冗余层区间 + 深度/宽度联合剪枝 + 一次性教师-学生交替蒸馏」的流程可直接迁移到自己的 DiT/MMDiT 骨干上，无需为每个剪枝比例重训即可在 50% 参数下保持生成质量。