大規(guī)模并發(fā)數(shù)據(jù)流處理系統(tǒng)及其處理方法
一種大規(guī)模并發(fā)數(shù)據(jù)流處理系統(tǒng)及其處理方法,涉及數(shù)據(jù)處理技術(shù)領(lǐng)域,所解決的是提高流處理器處理效率的技術(shù)問題.該系統(tǒng)包括數(shù)據(jù)流單元緩沖區(qū),數(shù)據(jù)流單元聚類隊列池,數(shù)據(jù)流單元映射表,流處理器池,數(shù)據(jù)流讀取部件,DSU聚類分配部件,任務(wù)調(diào)度部件,計算后處理部件,所述流處理器池由多個GPU構(gòu)成,其中數(shù)據(jù)流讀取部件用于將并發(fā)數(shù)據(jù)流寫入數(shù)據(jù)流單元緩沖區(qū),DSU聚類分配部件用于對數(shù)據(jù)流單元緩沖區(qū)中當(dāng)前被處理的數(shù)據(jù)流單元進(jìn)行分類,任務(wù)調(diào)度部件用于將數(shù)據(jù)流單元聚類隊列池中的就緒隊列加載至流處理器池中的GPU上執(zhí)行流計算,計算后處理部件用于將GPU的計算結(jié)果返回到數(shù)據(jù)流.本發(fā)明提供的系統(tǒng),能提高流處理器的處理效率.
上海理工大學(xué)
2021-05-04