一種防抖、寬視野的仿生眼
本項(xiàng)目面向室內(nèi)外環(huán)境下對(duì)目標(biāo)和環(huán)境的可靠快速感知需求,突破高性能主動(dòng)適應(yīng)的混合穩(wěn)像、動(dòng)態(tài)目標(biāo)快速搜索追蹤、智能探索感知的快速地圖創(chuàng)建和定位與場(chǎng)景理解關(guān)鍵技術(shù),研制具有高穩(wěn)定性、寬視野功能的仿生眼樣機(jī)一套,可實(shí)現(xiàn)快速追蹤動(dòng)態(tài)目標(biāo),實(shí)現(xiàn)環(huán)境三維建模與場(chǎng)景理解,成果將為機(jī)器人智能化、自主化導(dǎo)航提供主動(dòng)感知的新途徑。重點(diǎn)開(kāi)展如下研究:
1)具有高穩(wěn)定性、寬視野功能的仿生眼研制
研究仿生眼的結(jié)構(gòu)高動(dòng)態(tài)輕量化優(yōu)化設(shè)計(jì)及優(yōu)化的電機(jī)驅(qū)動(dòng)方式,提出眼球各自獨(dú)立運(yùn)動(dòng)、眼頸協(xié)調(diào)的關(guān)節(jié)配置方案,研究多軸關(guān)節(jié)的實(shí)時(shí)同步控制,研究圖像傳感器、IMU傳感器及RGBD傳感器的硬件高精度同步方法及GPU加速方法,實(shí)現(xiàn)對(duì)環(huán)境的高精度時(shí)間同步視覺(jué)感知。
2)高性能主動(dòng)適應(yīng)的混合穩(wěn)像算法
針對(duì)圖像抖動(dòng)模糊問(wèn)題,研究主動(dòng)適應(yīng)的機(jī)電混合穩(wěn)像算法;結(jié)合姿態(tài)反饋信息通過(guò)眼頸關(guān)節(jié)協(xié)調(diào)進(jìn)行適應(yīng)性姿態(tài)調(diào)整去除低頻擾動(dòng),通過(guò)IMU及圖像時(shí)間序列進(jìn)行相機(jī)6D位姿估計(jì)與濾波消除高頻擾動(dòng),實(shí)現(xiàn)主動(dòng)適應(yīng)混合穩(wěn)像算法。
3)動(dòng)態(tài)目標(biāo)快速搜索追蹤算法
針對(duì)快速運(yùn)動(dòng)的視覺(jué)目標(biāo),研究基于深度強(qiáng)化學(xué)習(xí)和注意力機(jī)制的目標(biāo)跟蹤算法;同時(shí)研究基于眼頸運(yùn)動(dòng)神經(jīng)回路控制機(jī)理的眼頸協(xié)調(diào)優(yōu)化視覺(jué)伺服跟蹤算法,使冗余眼頸關(guān)節(jié)實(shí)現(xiàn)優(yōu)化協(xié)調(diào)運(yùn)動(dòng),實(shí)現(xiàn)時(shí)間最優(yōu)快速目標(biāo)追蹤。
4)智能快速地圖創(chuàng)建和定位與場(chǎng)景理解
針對(duì)未知場(chǎng)景,基于雙眼RGB圖像序列及深度傳感器信息,生成仿生眼環(huán)境觀測(cè)的序列決策指令,實(shí)現(xiàn)更優(yōu)更快的環(huán)境地圖創(chuàng)建。實(shí)現(xiàn)室外環(huán)境三維建模與場(chǎng)景理解。
北京理工大學(xué)
2023-05-09