本發(fā)明公開了一種基于帶寬感知的 Hadoop 調(diào)度方法,包括:對Hadoop 任務(wù)調(diào)度建立一個作業(yè)時間完成模型,為 Hadoop 調(diào)度系統(tǒng)建立一個數(shù)學(xué)模型,將 Hadoop 的任務(wù)調(diào)度問題轉(zhuǎn)化為一個為待調(diào)度的作業(yè)尋找一個使得該作業(yè)的作業(yè)完成時間最短的任務(wù)調(diào)度方法的問題;利用 SDN 提供的實時網(wǎng)絡(luò)管理與流量控制功能,提出了一種基于時隙的網(wǎng)絡(luò)帶寬分配機制,將每一條鏈路的剩余帶寬的占用期劃分為相等的時隙,在作業(yè)完成時間模型和網(wǎng)絡(luò)時隙帶寬分配機制的基礎(chǔ)之上;在為某個任務(wù)分配計算節(jié)點之前,綜合考慮任務(wù)的本地性與實時網(wǎng)絡(luò)帶寬情況,為每一個任務(wù)分配一個能夠提供最早完成時間的計算節(jié)點。本發(fā)明解決了現(xiàn)有方法中不能同時從全局視角和實際網(wǎng)絡(luò)可用帶寬兩方面進行任務(wù)調(diào)度的問題。
未應(yīng)用
掃碼關(guān)注,查看更多科技成果