Tag · 2 篇
超参数优化
01 02
GR-Gauge：通过度量梯度冗余实现低成本训练配置
GR-Gauge: Cost-efficient Training Configuration By Gauging the Gradient Redundancy
提出以梯度冗余度作为轻量级信号来指导超参数搜索和试验终止，可替代传统基于验证集精度的昂贵评估，为视觉模型训练节省大量计算开销。
DABO：基于扩散学习先验的难度感知贝叶斯优化
DABO: Difficulty-Aware Bayesian Optimization with Diffusion-Learned Priors
对视觉研究者而言，DABO 提供了一套可直接复用的超参数搜索框架：用条件扩散模型在真实学习曲线上生成合成数据，训练难度感知代理模型与采集函数，从而在有限算力预算下更高效地调参（如检测、分割、生成模型的训练超参），减少在简单区域浪费的搜索预算。