一種數(shù)據去重過程中的并行分塊方法與系統(tǒng)

電子信息

本發(fā)明公開了一種數(shù)據去重過程中的并行分塊方法，其特征在

于，包括：(1)將數(shù)據流中的文件分成多個定長的數(shù)據段，所述數(shù)據段

的長度大于數(shù)據分塊的最大塊長；(2)利用計算機多核處理器并行對每

個數(shù)據段進行分塊，每個數(shù)據段都通過分塊獲得多個數(shù)據塊；(3)將最

后一個數(shù)據段除外的每個數(shù)據段的最后一個數(shù)據塊與后一個數(shù)據段的

第一個數(shù)據塊進行邊界銜接處理。本發(fā)明提出的并行分塊方法，采用

一種新穎的邊界銜接方法解決了傳統(tǒng)分塊方法的

未應用