一種三維視覺目標檢測與識別方法與裝置
1. 痛點問題
我們生活在一個真實的三維世界中,二維環境感知是遠無法滿足我們的實際需求。在諸如自動駕駛、機器人抓取和三維目標識別等應用中(如圖1),我們經常需要推理三維空間中物體之間的位置關系,從而能夠理解真實三維場景并做出進一步的決策行為。
圖1 自動駕駛、視覺抓取、物體識別
2. 解決方案
本技術成果提出了一種三維視覺目標檢測與識別方法。在三維視覺目標檢測方面,提出了一種基于關系推理網絡的單目三維物體檢測方法,方法流程圖如圖2所示。方法提出了一種新的單目三維物體檢測架構,訓練了一個深度關系推理網絡來估計三維候選和真實物體之間的空間位置關系,通過測量投影結果和真實物體之間的視覺擬合度來實現高精的三維空間定位。
圖2 三維目標檢測的流程圖
在三維視覺目標識別方法,提出了一種基于球面分形卷積神經網絡的三維點云識別技術,方法流程圖如圖3所示。方法通過引入球面分形結構,將原始三維點云通過可學習的神經網絡投影到球面,使得卷積神經網絡可以高效處理三維點云數據并進行特征特征,同時通過設計基于分形結構的層次化學習框架,提高了三維點云物體識別的精度,實現了對于三維點云目標在旋轉條件下特征表示的魯棒性。
合作需求
尋求在人工智能、智能機器人、智慧城市等領域有相關技術開發、市場推廣經驗,能推進本技術落地的高科技企業,可以進行深度合作。本技術成果有望在自動駕駛、虛擬現實等場景進行落地應用。
清華大學
2021-12-16