Tag · 1 篇
Stronger Normalization-Free Transformers
Derf 可作为 LayerNorm/RMSNorm/DyT 的即插即用替代,用于视觉识别与生成任务中的无归一化 Transformer,降低归一化层开销并可能提升泛化。