一種數(shù)據(jù)去重過程中的并行分塊方法與系統(tǒng)
本發(fā)明公開了一種數(shù)據(jù)去重過程中的并行分塊方法,其特征在 于,包括:(1)將數(shù)據(jù)流中的文件分成多個(gè)定長的數(shù)據(jù)段,所述數(shù)據(jù)段 的長度大于數(shù)據(jù)分塊的最大塊長;(2)利用計(jì)算機(jī)多核處理器并行對(duì)每 個(gè)數(shù)據(jù)段進(jìn)行分塊,每個(gè)數(shù)據(jù)段都通過分塊獲得多個(gè)數(shù)據(jù)塊;(3)將最 后一個(gè)數(shù)據(jù)段除外的每個(gè)數(shù)據(jù)段的最后一個(gè)數(shù)據(jù)塊與后一個(gè)數(shù)據(jù)段的 第一個(gè)數(shù)據(jù)塊進(jìn)行邊界銜接處理。本發(fā)明提出的并行分塊方法,采用 一種新穎的邊界銜接方法解決了傳統(tǒng)分塊方法的
華中科技大學(xué)
2021-04-14