一、項目進展
創意計劃階段
二、負責人及成員
姓名 |
學院/所學專業 |
入學/畢業時間 |
學號 |
史雨杰 |
電信院/自動化 |
2019.9/2023.7 |
201931072537 |
李耀輝 |
電信院/機器人工程 |
2019.9/2023.7 |
201931072628 |
劉忠躍 |
電信院/自動化 |
2018.9/2022.7 |
201831073203 |
王怡欣 |
電信院/自動化 |
2018.9/2022.7 |
201831073423 |
孟澤濤 |
電信院/自動化 |
2018.9/2022.7 |
201831073302 |
三、指導教師
姓名 |
學院/所學專業 |
職務/職稱 |
研究方向 |
李杰 |
電氣信息學院 |
講師 |
人工智能 |
四、項目簡介
本項目基于虛實交互技術、仿生機器狗運動控制、機器視覺、機器算法等方面展開研究。其目的在于增強虛實場景下機器狗與現實環境的交互能力,使其更快速地適應復雜地形,并借助機器視覺豐富其應用性。機器狗采用Jetson-Nano為主控板,其上運行ROS系統,采用分布式運行rosserial_arduino、rosbridge實現機器狗運動控制和虛擬場景通信的環節;利用SLAM技術精確構建地形圖樣,模擬人的真實視覺功能并通過圖像攝取裝置賦予機器狗,使機器狗能夠對圖像信號進行獲取和識別,并通過數字化處理以實現其在多目標環境下的個體追蹤功能以及對人體的姿態識別功能。
成果類別 |
成果名稱 |
相關團隊成員 |
相關指導老師 |
軟件著作權 |
基于虛實交互技術的多功能四足機器人系統V2.3.1 |
李耀輝、史雨杰、劉忠躍、王怡欣、孟澤濤 |
李杰 |
競賽獎項 |
2021年西門子杯全國初賽一等獎 |
劉忠躍、王怡欣、孟澤濤 |
李杰 |
競賽獎項 |
第五屆中國高校智能機器人創意大賽國家一等獎 |
李耀輝、史雨杰 |
李杰 |
競賽獎項 |
2022年西門子杯全國初賽二等獎 |
李耀輝、史雨杰 |
李杰 |
1、優勢
本項目利用ROS框架下的gmapping算法并結合激光掃描儀傳感器獲得的點云數據建立所需要的二維地圖,并對構建的場景進行坐標化,以實現對機器狗本身的定位及導航功能。同時,使用Unity對ROS掃描生成的二維基礎地圖進行復雜化、逼真化,進行多種場景的虛擬構建,并借助Rosbridge實現ROS與Unity3D通信,從而進行虛擬現實交互實驗,例如機器狗的避障、路徑修偏、指定目標追蹤等。不僅如此,機器視覺的引入使得機器狗能夠實現人臉識別、口罩識別、姿態識別、手勢識別等諸多功能,創新型強且應用十分廣泛。
2、技術前景
參考前幾年新冠疫情的肆虐可知,無接觸式交互一定會成為新的趨勢,基于本項目的虛實交互的構建方法,能夠一定程度上有效緩解疫情帶來的損害。結合仿生機器狗建模、計算機視覺、機器算法等方面構建出虛實交互場景下的機器狗視覺控制系統,能夠使其能快速地適應復雜地形,應用場景更加不受局限,節約了特定環境設備調試工作的時間成本,具有一定的獨創性。同時,借助機器視覺的人臉識別及口罩識別技術,能夠實時檢測市民佩戴口罩情況,為疫情防控貢獻一份力。
同時,元宇宙相關理念的提出更凸顯了虛實交互技術應用于未來機器人發展的可行性與重要性,虛實模型的訓練與遷移將極大便利機器人的開發,減輕人力成本與資源成本的消耗,提高訓練效率。