一種基于 Storm 實時流計算框架的消息可靠處理保障方法
本發(fā)明公開了一種基于 Storm 實時流計算框架的消息可靠處理 保障方法,包括:①預(yù)處理階段,對環(huán)境做初始化工作;②集群計算 過程中對已經(jīng)發(fā)射并正處于計算狀態(tài)的數(shù)據(jù)進(jìn)行跟蹤;③發(fā)射任務(wù)在 監(jiān)聽到消息處理成功的信號時,清空緩存區(qū)中屬于它的所有子元組的 跟蹤信息;④發(fā)射任務(wù)在監(jiān)聽到消息處理失敗的信號時,定位產(chǎn)生處 理失敗的任務(wù)的位置和待恢復(fù)數(shù)據(jù);⑤根據(jù)跟蹤信息和 xml 文件構(gòu)建 消息恢復(fù)程序,然后從緩存區(qū)讀取待恢復(fù)數(shù)據(jù)
華中科技大學(xué)
2021-04-14