01. 成果簡介

非結(jié)構(gòu)化數(shù)據(jù)是沒有顯式數(shù)據(jù)結(jié)構(gòu)約束的非關(guān)系型數(shù)據(jù)，包括時(shí)間序列、圖像、音視頻等，其管理與分析技術(shù)成為國際信息領(lǐng)域戰(zhàn)略競爭焦點(diǎn)。許多實(shí)際應(yīng)用中，非結(jié)構(gòu)化數(shù)據(jù)不僅總的體量大，而且數(shù)量也極為巨大。例如，我國氣象預(yù)報(bào)業(yè)務(wù)每天接收到的氣象數(shù)據(jù)文件達(dá)數(shù)億非結(jié)構(gòu)化氣象小文件。此外，這些文件存在大量業(yè)務(wù)語義屬性，這些屬性形成了描述一個(gè)數(shù)據(jù)的多種維度。

針對海量非結(jié)構(gòu)化數(shù)據(jù)的管理需求，清華大學(xué)軟件學(xué)院提出了多維文件空間模型，并基于此模型突破了一系列非結(jié)構(gòu)化數(shù)據(jù)核心技術(shù)，包括：

l  非結(jié)構(gòu)化數(shù)據(jù)到多維空間模型的映射方法；

l  多維文件空間模型的分布式物理實(shí)現(xiàn)方法；

l  分布式存儲的副本控制方法。

該技術(shù)通過對非結(jié)構(gòu)化數(shù)據(jù)的屬性維度進(jìn)行分類，將非結(jié)構(gòu)化數(shù)據(jù)建模成多維文件空間模型，并對文件集合上的各種操作進(jìn)行定義。此外，通過細(xì)粒度計(jì)算磁盤IO代價(jià)、網(wǎng)絡(luò)代價(jià)、副本代價(jià)、CPU代價(jià)、數(shù)據(jù)分區(qū)代價(jià)，得到指定工作負(fù)載下的最優(yōu)物理存儲實(shí)現(xiàn)，進(jìn)而通過排隊(duì)論等方法對副本的一致性進(jìn)行控制，實(shí)現(xiàn)滿足用戶SLA（服務(wù)等級保證）的柔性事務(wù)。

圖1. 基于多維文件空間的最優(yōu)非結(jié)構(gòu)化數(shù)據(jù)存儲方法示意圖

相比現(xiàn)有對象存儲等技術(shù)，該項(xiàng)技術(shù)可以實(shí)現(xiàn)更加靈活的數(shù)據(jù)訪問。同時(shí)，該項(xiàng)技術(shù)能夠建立多維文件空間到分布式物理存儲的最優(yōu)映射機(jī)制，保證非結(jié)構(gòu)化數(shù)據(jù)總訪問代價(jià)最小。相比于現(xiàn)有的分布式文件系統(tǒng)，該項(xiàng)技術(shù)可以確保使用少量內(nèi)存管理數(shù)以億計(jì)的海量非結(jié)構(gòu)化小文件，而現(xiàn)有多數(shù)分布式文件系統(tǒng)在遇到海量文件管理時(shí)往往會出現(xiàn)內(nèi)存爆炸問題。

02. 應(yīng)用前景

本成果技術(shù)可廣泛用于各種類型尤其是多維度屬性的非結(jié)構(gòu)化數(shù)據(jù)管理。目前已經(jīng)被成功應(yīng)用于中國氣象局和全國31個(gè)省或直轄市氣象局，以及石油、風(fēng)電等多家工業(yè)企業(yè)。該項(xiàng)成果還入選了2016國家十二五科技創(chuàng)新成就展和2018首屆數(shù)字中國建設(shè)峰會，并作為貢獻(xiàn)之一獲得2018年教育部技術(shù)發(fā)明一等獎(jiǎng)和中國氣象學(xué)會科技進(jìn)步獎(jiǎng)一等獎(jiǎng)。

03. 知識產(chǎn)權(quán)

本項(xiàng)成果已獲得發(fā)明專利授權(quán)13項(xiàng)。

04. 團(tuán)隊(duì)介紹

本成果團(tuán)隊(duì)長期研究大數(shù)據(jù)管理與分析技術(shù)，包括分布式數(shù)據(jù)存儲與查詢、數(shù)據(jù)質(zhì)量、深度學(xué)習(xí)與遷移學(xué)習(xí)、業(yè)務(wù)過程挖掘等方向。團(tuán)隊(duì)課題負(fù)責(zé)人為王建民教授、博士生導(dǎo)師。團(tuán)隊(duì)在本領(lǐng)域發(fā)表國際學(xué)術(shù)論文100余篇，申請專利100余項(xiàng)，授權(quán)專利60余項(xiàng)。相關(guān)成果獲2018年教育部技術(shù)發(fā)明一等獎(jiǎng)、2018年氣象學(xué)會科技進(jìn)步一等獎(jiǎng)、2014年國家科技進(jìn)步二等獎(jiǎng)、2013年中國電子學(xué)會科技進(jìn)步一等獎(jiǎng)。

05. 合作方式

技術(shù)許可 / 軟件服務(wù)。

06. 聯(lián)系方式

郵箱：[email protected]

團(tuán)隊(duì)電話：010-62786972；13051000520

團(tuán)隊(duì)郵箱：[email protected]