Tag · 2 篇
通信压缩
分布 高效模型与推理加速1自监督与表征学习1
01 02
Otil：通过通信高效的多 GPU 并行加速扩散模型推理
Otil: Accelerating Diffusion Model Inference via Communication-Efficient Multi-GPU Parallelism
对做扩散模型高分辨率/视频生成的研究者，这是一种即插即用的多卡并行推理方案：利用相邻去噪步潜变量变化微小的性质，只同步信息量最大的潜变量子块并周期性轮询全部空间区域，可在不改架构、不重训的前提下把 GPU 间通信降低最多 87.5%，与少步采样器和低秩适配叠加后进一步提速。
OS-Fed：单张快照足矣
OS-Fed: One Snapshot Is All You Need
把每轮累积梯度编码成一张紧凑的类图像快照（图像加可学习标签）来传输，这种「用图像式表示承载梯度/更新」的思路可迁移到视觉模型的分布式训练与梯度压缩，也可反向用于从图像式表示重建更新信号的表征学习研究。