新葡京娱乐场-大陆娱乐场开户注册

產(chǎn)品詳細介紹

成果介紹“衛(wèi)星與無線通信融合系統(tǒng)研發(fā)及產(chǎn)業(yè)化”就是由東南大學(xué)、南京中網(wǎng)衛(wèi)星通信股份有限公司和江蘇大學(xué)三家單位合作完成。衛(wèi)星通信具有覆蓋廣和不受地域限制的優(yōu)勢，但是受到遮擋以后，信號就會不好，而且通信的成本太高，2M帶寬每小時就要花費幾千元。而隨著3G、4G的普及，地面無線通信已經(jīng)發(fā)展得相當(dāng)完善，但是在地面基站未覆蓋區(qū)域，或基站一旦受到洪水、臺風(fēng)、地震等自然災(zāi)害破壞時，就無法通信了。正是基于這兩個通信系統(tǒng)的特點，我們‘取長補短’，巧妙地將兩種通信系統(tǒng)融合起來，研制完成的系統(tǒng)可以根據(jù)不同策略自適應(yīng)地選擇地面通信鏈路或衛(wèi)星鏈路”技術(shù)創(chuàng)新點及參數(shù)他和團隊成員克服了很多困難，提出了多項獨創(chuàng)性的方法，目前已申請國家發(fā)明專利40項（其中24項已經(jīng)獲得授權(quán)），編制國家標(biāo)準(zhǔn)3項，發(fā)表國內(nèi)外核心期刊論文61篇（其中SCI收錄16篇）。項目研制的衛(wèi)星與無線通信融合系統(tǒng)實現(xiàn)了規(guī)模產(chǎn)業(yè)化，部分性能指標(biāo)處于國際領(lǐng)先水平，并在氣象、安監(jiān)、環(huán)保和軍隊等諸多行業(yè)得到極其廣泛的應(yīng)用，得到了政府有關(guān)部門和客戶的一致好評。市場前景目前本項目的產(chǎn)品已經(jīng)應(yīng)用到全國26個省市的18個行業(yè)。其中，氣象和安監(jiān)市場占有率達到70[%]，環(huán)保市場占有率達到60[%]。產(chǎn)品曾為“神舟系列”飛船的發(fā)射和回收提供氣象保障，為汶川地震、雅安地震和甘肅舟曲特大泥石流等提供了應(yīng)急通信服務(wù)，為上海世博會和深圳大運會等重大活動提供了氣象保障和視頻直播服務(wù)。產(chǎn)品已經(jīng)實現(xiàn)直接銷售收入8.3億元，產(chǎn)生的間接經(jīng)濟效益數(shù)百億計。

大數(shù)據(jù)應(yīng)用的多樣化 需要的計算模型、數(shù)據(jù)模型多樣化； 目前每類模型需要單獨的開源系統(tǒng)來支持（如HDFS、HBase、Neo4j、MongoDB，F(xiàn)link，Spark，Tensorflow等）。 多系統(tǒng)導(dǎo)致大數(shù)據(jù)分析平臺非常復(fù)雜、效率低下。研究目標(biāo)：研究和開發(fā)面向新型多計算模型融合架構(gòu)的、高時效、可擴展的新 一代大數(shù)據(jù)分析支撐系統(tǒng)與工具平臺FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。針對目前大數(shù)據(jù)分析平臺復(fù)雜、效率低下的痛點，該系統(tǒng)具有三個 方面的優(yōu)勢：首先，這套系統(tǒng)采用融合架構(gòu)，一方面實現(xiàn)關(guān)系、圖、鍵 值、文檔等多種數(shù)據(jù)模型的高效融合，另一方面實現(xiàn)批處理計算、流計 算的深度融合，并可以通過SQL擴展語言來進行多模型的統(tǒng)一查詢，實現(xiàn)高效的跨模型查詢。其次，對于復(fù)雜系統(tǒng)來說，時效性非常重要，這 套系統(tǒng)采用融合架構(gòu)提高效率是實現(xiàn)高時效的基礎(chǔ)，更重要的是，我們 對大數(shù)據(jù)分析從數(shù)據(jù)到用戶進行了端到端的全棧時效優(yōu)化。最后，對于 大數(shù)據(jù)應(yīng)用來說，系統(tǒng)擴展性非常重要，本系統(tǒng)在資源層、存儲層和計 算層進行了全面的擴展性優(yōu)化。下面在融合架構(gòu)、高時效和可擴展這三 個方面，分別詳細介紹FAST系統(tǒng)的三個主要亮點。融合架構(gòu)FAST系統(tǒng)的第一個亮點是融合架構(gòu)，我們在技術(shù)方面的創(chuàng)新主要包 括多數(shù)據(jù)模型融合和多計算模型融合兩方面。多數(shù)據(jù)模型融合：設(shè)計和研發(fā)了多模型數(shù)據(jù)管理與查詢引擎，支持關(guān)系、圖、鍵值、 文檔等多種數(shù)據(jù)模型，實現(xiàn)了查詢解析、查詢優(yōu)化、元數(shù)據(jù)管理、數(shù)據(jù) 分布等功能，將多種數(shù)據(jù)模型進行統(tǒng)一管理和深度融合。同時擴展了SQL語言，通過統(tǒng)一的查詢接口支持對關(guān)系、鍵值、圖、文檔等數(shù)據(jù)進行獨立訪問或者跨模型查詢。經(jīng)過試驗，多模型數(shù)據(jù)融合查詢，比Spark 2.3.4的查詢時間能平均減少70.7%。目前spark等現(xiàn)有系統(tǒng)還需要手工編程方式來實現(xiàn)跨模型查 詢，所以FAST系統(tǒng)在易用性上也表現(xiàn)良好，降低使用門檻，提高開發(fā)效率。多計算模型融合：在計算層實現(xiàn)了最常見的批處理計算和流計算深度融合，批流融合的核心方法是在系統(tǒng)內(nèi)部實現(xiàn)批和流的統(tǒng)一表達，批是對有限數(shù)據(jù)集 的運算，流是對無限數(shù)據(jù)流的計算，我們設(shè)計了UCollection結(jié)構(gòu)對批和 流數(shù)據(jù)進行統(tǒng)一表達，通過識別的bounded標(biāo)志，來確定是批、流、或批流融合。有了統(tǒng)一表達，可以開展一系列融合優(yōu)化來提升系統(tǒng)性能。 并且對上通過Unified API統(tǒng)一用戶的批、流接口，實現(xiàn)二者在編程范式上的統(tǒng)一表達。對于批流混合的計算，融合架構(gòu)系統(tǒng)的查詢延遲比Flink 1.4.2能減少57%，吞吐量平均可以提升到6.72倍。高時效FAST系統(tǒng)的第二個亮點是高時效，即縮短大數(shù)據(jù)分析的時間消耗， 提高效率。由于大數(shù)據(jù)分析平臺是一個非常復(fù)雜的系統(tǒng)，為了做到高時效，系統(tǒng)不能存在性能短板，因此需要對大數(shù)據(jù)分析的整個過程進行端到端的全棧時效優(yōu)化。如圖中所示，自下而上，需要在多模態(tài)存儲、批流融合、機器學(xué)習(xí)、人工操作各層都進行優(yōu)化。對于多模態(tài)存儲，面向應(yīng)用負載和異構(gòu)硬件特征進行自適應(yīng)優(yōu)化；對于批流融合計算，在統(tǒng)一表達基礎(chǔ)上，進行系列融合優(yōu)化技術(shù)， 包括DAG優(yōu)化、迭代優(yōu)化、部署優(yōu)化、操作符優(yōu)化等；在機器學(xué)習(xí)層面，進行模型優(yōu)化、消息優(yōu)化、梯度優(yōu)化、概率優(yōu)化 等來提高時效；而且我們也考慮到大數(shù)據(jù)分析過程中用戶人工操作的時效性問題， 通過智能地進行大數(shù)據(jù)分析方法和模型的推薦，來縮減人工操作的 時間。可擴展FAST系統(tǒng)的第三個亮點是可擴展，由于大數(shù)據(jù)應(yīng)用規(guī)模很大，數(shù)據(jù)增速快，對系統(tǒng)可擴展性的要求非常高，為此我們在系統(tǒng)的資源層、 存儲層和計算層進行了全面的擴展性優(yōu)化。在資源層，系統(tǒng)都部署在云計算的虛擬化資源之上，利用了云計算資源的彈性機制進行系統(tǒng)擴展。并在系統(tǒng)中實現(xiàn)了可伸縮調(diào)整模塊， 能實時監(jiān)控軟硬件系統(tǒng)的狀態(tài)，按照應(yīng)用需求來自適應(yīng)地進行彈性伸縮。在存儲層，分布式存儲系統(tǒng)擴展性的關(guān)鍵在于分布式共識和一致性 協(xié)議（Raft），因此提出了KV-Raft、vRaft等進行Raft的擴展優(yōu)化。在計算層，我們擴展了機器學(xué)習(xí)模型的參數(shù)規(guī)模，使系統(tǒng)可以支持 到百億級別的超大規(guī)模機器學(xué)習(xí)模型訓(xùn)練，并且性能方面有明顯提 升。亮點成果：融合架構(gòu)大數(shù)據(jù)分析平臺目前已經(jīng)在阿里巴巴雙十一進行示范應(yīng)用。 從2020年11月10日至11月16日一周的時間，在阿里的生產(chǎn)環(huán)境中，研發(fā) 的系統(tǒng)一直連續(xù)穩(wěn)定運行，基于淘寶和天貓的實際用戶信息進行大數(shù)據(jù) 分析，綜合運用了本系統(tǒng)的存儲、計算、機器學(xué)習(xí)等多個模塊的能力， 累計進行了184億件商品推薦。同時在雙十一期間，基于智能交互向?qū)Ъ夹g(shù)，也面向電子商務(wù)應(yīng)用 的賣家提供了“生意參謀”應(yīng)用，基于大數(shù)據(jù)分析，幫助賣家分析產(chǎn)品 銷量變化的原因，以及促銷的有效手段等。

流立方在技術(shù)流派里屬于流式大數(shù)據(jù)實時處理領(lǐng)域，但兼顧了批式數(shù)據(jù)處理技術(shù)的優(yōu)勢，一定程度的做到了混合時態(tài)的實時處理。流立方通過在數(shù)據(jù)流水過程中嵌入流處理引擎將所有流過的數(shù)據(jù)進行實時處理, 并生成多維度的可計算數(shù)據(jù)魔方。1）超高并發(fā)性：“流立方”產(chǎn)品擁有每秒處理百萬筆交易流水復(fù)雜分析的能力。而達到這樣的性能僅需要 8 臺普通的 pc 服務(wù)器搭建的集群。2）超低時效性：流立方對每筆流水處理的延時嚴(yán)格控制在毫秒級，實際生產(chǎn)中平均延時穩(wěn)定在 10 毫秒左右。形象一點來說，也就是在海水涌進海洋的幾乎同一時刻，數(shù)據(jù)就被分析完成了，遠遠低于人類學(xué)上 0.1 秒即有所感知的時間節(jié)點，處理速度比一眨眼快了很多倍。最近一年，流立方的高級版本更是提升到了微秒級的處理延時，將被用在春運票務(wù)、軍工、反恐等要求更加極致的場景。3）高可靠性、高擴展性、高兼容性：流立方自帶的可計算分布式緩存高性能、高可靠、高可擴展。在內(nèi)存不足時, 能夠平滑擴展到多節(jié)點。流立方平臺內(nèi)支持算法數(shù)量達到幾十個。計算模型、腳本獨立管理,在線編寫、即時部署即時生效, 大大節(jié)約上線時間。

中國傳媒大學(xué)融合門戶平臺競爭性磋商

研究背景：  大數(shù)據(jù)應(yīng)用的多樣化  需要的計算模型、數(shù)據(jù)模型多樣化；  目前每類模型需要單獨的開源系統(tǒng)來支持（如HDFS、HBase、Neo4j、MongoDB，F(xiàn)link，Spark，Tensorflow等）。  多系統(tǒng)導(dǎo)致大數(shù)據(jù)分析平臺非常復(fù)雜、效率低下。 研究目標(biāo)： 研究和開發(fā)面向新型多計算模型融合架構(gòu)的、高時效、可擴展的新 一代大數(shù)據(jù)分析支撐系統(tǒng)與工具平臺FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 針對目前大數(shù)據(jù)分析平臺復(fù)雜、效率低下的痛點，該系統(tǒng)具有三個  方面的優(yōu)勢：首先，這套系統(tǒng)采用融合架構(gòu)，一方面實現(xiàn)關(guān)系、圖、鍵  值、文檔等多種數(shù)據(jù)模型的高效融合，另一方面實現(xiàn)批處理計算、流計  算的深度融合，并可以通過SQL擴展語言來進行多模型的統(tǒng)一查詢，實現(xiàn)高效的跨模型查詢。其次，對于復(fù)雜系統(tǒng)來說，時效性非常重要，這  套系統(tǒng)采用融合架構(gòu)提高效率是實現(xiàn)高時效的基礎(chǔ)，更重要的是，我們  對大數(shù)據(jù)分析從數(shù)據(jù)到用戶進行了端到端的全棧時效優(yōu)化。最后，對于  大數(shù)據(jù)應(yīng)用來說，系統(tǒng)擴展性非常重要，本系統(tǒng)在資源層、存儲層和計  算層進行了全面的擴展性優(yōu)化。下面在融合架構(gòu)、高時效和可擴展這三  個方面，分別詳細介紹FAST系統(tǒng)的三個主要亮點。 融合架構(gòu) FAST系統(tǒng)的第一個亮點是融合架構(gòu)，我們在技術(shù)方面的創(chuàng)新主要包  括多數(shù)據(jù)模型融合和多計算模型融合兩方面。 多數(shù)據(jù)模型融合： 設(shè)計和研發(fā)了多模型數(shù)據(jù)管理與查詢引擎，支持關(guān)系、圖、鍵值、  文檔等多種數(shù)據(jù)模型，實現(xiàn)了查詢解析、查詢優(yōu)化、元數(shù)據(jù)管理、數(shù)據(jù)  分布等功能，將多種數(shù)據(jù)模型進行統(tǒng)一管理和深度融合。同時擴展了SQL語言，通過統(tǒng)一的查詢接口支持對關(guān)系、鍵值、圖、文檔等數(shù)據(jù)進行獨立訪問或者跨模型查詢。 經(jīng)過試驗，多模型數(shù)據(jù)融合查詢，比Spark 2.3.4的查詢時間能平均減少70.7%。目前spark等現(xiàn)有系統(tǒng)還需要手工編程方式來實現(xiàn)跨模型查 詢，所以FAST系統(tǒng)在易用性上也表現(xiàn)良好，降低使用門檻，提高開發(fā)效率。 多計算模型融合： 在計算層實現(xiàn)了最常見的批處理計算和流計算深度融合，批流融合的核心方法是在系統(tǒng)內(nèi)部實現(xiàn)批和流的統(tǒng)一表達，批是對有限數(shù)據(jù)集  的運算，流是對無限數(shù)據(jù)流的計算，我們設(shè)計了UCollection結(jié)構(gòu)對批和  流數(shù)據(jù)進行統(tǒng)一表達，通過識別的bounded標(biāo)志，來確定是批、流、或批流融合。有了統(tǒng)一表達，可以開展一系列融合優(yōu)化來提升系統(tǒng)性能。 并且對上通過Unified API統(tǒng)一用戶的批、流接口，實現(xiàn)二者在編程范式上的統(tǒng)一表達。對于批流混合的計算，融合架構(gòu)系統(tǒng)的查詢延遲比Flink 1.4.2能減少57%，吞吐量平均可以提升到6.72倍。 高時效 FAST系統(tǒng)的第二個亮點是高時效，即縮短大數(shù)據(jù)分析的時間消耗，  提高效率。由于大數(shù)據(jù)分析平臺是一個非常復(fù)雜的系統(tǒng)，為了做到高時效，系統(tǒng)不能存在性能短板，因此需要對大數(shù)據(jù)分析的整個過程進行端到端的全棧時效優(yōu)化。如圖中所示，自下而上，需要在多模態(tài)存儲、批流融合、機器學(xué)習(xí)、人工操作各層都進行優(yōu)化。 對于多模態(tài)存儲，面向應(yīng)用負載和異構(gòu)硬件特征進行自適應(yīng)優(yōu)化； 對于批流融合計算，在統(tǒng)一表達基礎(chǔ)上，進行系列融合優(yōu)化技術(shù)， 包括DAG優(yōu)化、迭代優(yōu)化、部署優(yōu)化、操作符優(yōu)化等； 在機器學(xué)習(xí)層面，進行模型優(yōu)化、消息優(yōu)化、梯度優(yōu)化、概率優(yōu)化 等來提高時效； 而且我們也考慮到大數(shù)據(jù)分析過程中用戶人工操作的時效性問題，  通過智能地進行大數(shù)據(jù)分析方法和模型的推薦，來縮減人工操作的  時間。 可擴展 FAST系統(tǒng)的第三個亮點是可擴展，由于大數(shù)據(jù)應(yīng)用規(guī)模很大，數(shù)據(jù)增速快，對系統(tǒng)可擴展性的要求非常高，為此我們在系統(tǒng)的資源層、  存儲層和計算層進行了全面的擴展性優(yōu)化。 在資源層，系統(tǒng)都部署在云計算的虛擬化資源之上，利用了云計算資源的彈性機制進行系統(tǒng)擴展。并在系統(tǒng)中實現(xiàn)了可伸縮調(diào)整模塊，  能實時監(jiān)控軟硬件系統(tǒng)的狀態(tài)，按照應(yīng)用需求來自適應(yīng)地進行彈性伸縮。 在存儲層，分布式存儲系統(tǒng)擴展性的關(guān)鍵在于分布式共識和一致性 協(xié)議（Raft），因此提出了KV-Raft、vRaft等進行Raft的擴展優(yōu)化。 在計算層，我們擴展了機器學(xué)習(xí)模型的參數(shù)規(guī)模，使系統(tǒng)可以支持  到百億級別的超大規(guī)模機器學(xué)習(xí)模型訓(xùn)練，并且性能方面有明顯提  升。 亮點成果： 融合架構(gòu)大數(shù)據(jù)分析平臺目前已經(jīng)在阿里巴巴雙十一進行示范應(yīng)用。  從2020年11月10日至11月16日一周的時間，在阿里的生產(chǎn)環(huán)境中，研發(fā) 的系統(tǒng)一直連續(xù)穩(wěn)定運行，基于淘寶和天貓的實際用戶信息進行大數(shù)據(jù) 分析，綜合運用了本系統(tǒng)的存儲、計算、機器學(xué)習(xí)等多個模塊的能力， 累計進行了184億件商品推薦。 同時在雙十一期間，基于智能交互向?qū)Ъ夹g(shù)，也面向電子商務(wù)應(yīng)用  的賣家提供了“生意參謀”應(yīng)用，基于大數(shù)據(jù)分析，幫助賣家分析產(chǎn)品  銷量變化的原因，以及促銷的有效手段等。