Tag · 2 篇
参数初始化
01 02
解锁预训练权重：面向零样本初始化的参数继承
Unlocking Pre-trained Weights: Parameter Inheritance for Zero-Shot Initialization
对视觉研究者而言，这是一种无需微调即可为任意配置的 ViT 等骨干网络生成可用初始权重的参数投影机制，可直接用于新架构的快速冷启动与预训练权重复用。
噪声预训练对隐式神经表示的惊人有效性
The Surprising Effectiveness of Noise Pretraining for Implicit Neural Representations
用不同噪声类（均匀、高斯、Dead Leaves、1/|f|^α 频谱）预训练 INR 的初始化参数，可替代数据驱动的初始化方法；其中 1/|f|^α 频谱噪声预训练在信号拟合与去噪逆问题上取得最佳平衡，为缺乏领域数据的 INR 应用提供高效初始化方案。