一種適用于分布式機(jī)器學(xué)習(xí)的參數(shù)同步優(yōu)化方法及其系統(tǒng)
本發(fā)明提供了一種適用于分布式機(jī)器學(xué)習(xí)的參數(shù)同步優(yōu)化方法 及其系統(tǒng),使用參數(shù)服務(wù)器分布式方式實(shí)現(xiàn)的機(jī)器學(xué)習(xí)算法,解決現(xiàn) 有算法在參數(shù)同步過程中的瓶頸。本發(fā)明系統(tǒng)包括參數(shù)服務(wù)器端的資 源監(jiān)控和分配模塊、參數(shù)維護(hù)模塊,各工作節(jié)點(diǎn)的服務(wù)器資源請求模 塊、參數(shù)同步時(shí)間間隔控制模塊、未同步時(shí)間累計(jì)模塊、參數(shù)計(jì)算模 塊和參數(shù)同步模塊。本發(fā)明通過監(jiān)控參數(shù)服務(wù)器資源占用情況,為不 同工作節(jié)點(diǎn)選取不同同步時(shí)間間隔來避免請求突發(fā)情況,同時(shí)
華中科技大學(xué)
2021-04-14