目前,訓練機器學習模型依賴于海量的數據,當以集中方式訓練時,會帶來很大的計算成本。因此,現在普遍的共識是,未來的機器學習應該以分布式方式實施。通常,分布式學習是以server-worker模式中進行的,其中server利用從workers收集的信息更新學習參數,然后將這些參數廣播給workers。 但是,隨著worker數量的增加,通信開銷也會大幅