Transformer-架构

渐进式神经架构生成

Progressive Neural Architecture Generation

对做视觉模型设计的读者，PNAG 提供了一种用多尺度子架构量化加逐步一致性约束来直接生成有效架构的范式，可替代贝叶斯优化中的随机采样环节，把架构搜索的生成时间降低约 1300 倍，并可直接生成 Transformer 类视觉骨干。