残差连接

残差连接损害生成式表征学习

Residual Connections Harm Generative Representation Learning

对 MAE、扩散模型等生成式表征学习框架，把残差恒等捷径的权重随深度单调衰减，可显著提升线性探测精度与生成质量；做自监督预训练或扩散骨干网络时，这是一个几乎零成本、可直接替换的架构改动。