一種適用于分布式機器學習的參數(shù)同步優(yōu)化方法及其系統(tǒng)
本發(fā)明提供了一種適用于分布式機器學習的參數(shù)同步優(yōu)化方法 及其系統(tǒng),使用參數(shù)服務器分布式方式實現(xiàn)的機器學習算法,解決現(xiàn) 有算法在參數(shù)同步過程中的瓶頸。本發(fā)明系統(tǒng)包括參數(shù)服務器端的資 源監(jiān)控和分配模塊、參數(shù)維護模塊,各工作節(jié)點的服務器資源請求模 塊、參數(shù)同步時間間隔控制模塊、未同步時間累計模塊、參數(shù)計算模 塊和參數(shù)同步模塊。本發(fā)明通過監(jiān)控參數(shù)服務器資源占用情況,為不 同工作節(jié)點選取不同同步時間間隔來避免請求突發(fā)情況,同時
華中科技大學
2021-04-14