Tag · 2 篇
去中心化训练
分布 生成模型与扩散1自监督与表征学习1
01 02
异构去中心化扩散模型
Heterogeneous Decentralized Diffusion Models
把 DDPM 与流匹配两种目标在去中心化多专家训练中混用、推理时统一，并给出 ImageNet-DDPM 到流匹配的权重转换方案，为算力受限的视觉生成研究提供了可复用的低成本训练路径。
超越欧氏 gossip：异构且不平衡图像上的 KL 重心共识
Beyond Euclidean Gossip: KL-Barycentric Consensus on Heterogeneous and Imbalanced Images
为视觉模型在去中心化、非独立同分布数据上的协同训练提供几何感知的共识机制：在指数族期望参数空间做线性混合即得前向KL重心，可直接替换联邦/去中心化视觉训练中的权重平均，缓解异构站点间的分布漂移。