更強(qiáng)感知和定位能力！極智嘉聯(lián)合卡耐基梅隆大學(xué)提出全新提取對象描述符算法

近日，全球AMR引領(lǐng)者極智嘉(Geek+)聯(lián)合卡耐基梅隆大學(xué)(CMU)提出了的全新提取對象描述符算法，并成功在著名機(jī)器人期刊IEEE Robotics and Automation Letters(RA-L)上發(fā)表，充分印證了極智嘉在移動(dòng)機(jī)器人視覺感知和V-SLAM定位導(dǎo)航方面的創(chuàng)新能力與技術(shù)實(shí)力備受學(xué)術(shù)權(quán)威的認(rèn)可！

IEEE Robotics and Automation Letters (RA-L)是機(jī)器人領(lǐng)域的知名短文頂刊，屬JCR一區(qū)期刊，在Google h5-index上機(jī)器人領(lǐng)域綜合排名第二，期刊排名第一，享有較高知名度和權(quán)威性。

全新提取對象描述符算法

大幅提升感知和定位能力

對象描述和匹配對機(jī)器人的視覺感知及V-SLAM定位有著重要作用。尤其是在語義SLAM方面，對象匹配既有助于前后幀相對位姿的計(jì)算，也可以輔助更加準(zhǔn)確的檢測回環(huán)，從而建立高精度的地圖。為此，極智嘉提出全新的提取對象描述符算法，同時(shí)利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和圖神經(jīng)網(wǎng)絡(luò)(GNN)來編碼對象攜帶的信息，可用于對象的匹配和視覺重定位，大幅提升視覺地圖的精度和重定位的準(zhǔn)確率，強(qiáng)化機(jī)器人感知和定位能力，在完成更復(fù)雜的業(yè)務(wù)任務(wù)的同時(shí)減少錯(cuò)誤概率。

極智嘉訂單到人揀選機(jī)器人A60C采用激光SLAM+視覺SLAM導(dǎo)航技術(shù)運(yùn)行在人機(jī)混合的復(fù)雜場景中，需要非常準(zhǔn)確的定位和對象識(shí)別能力。本文提出的全新提取對象描述符算法既提升了A60C機(jī)器人的對象感知能力，也提高了該款機(jī)器人V-SLAM定位的準(zhǔn)確率，使其滿足幾乎所有工業(yè)、倉庫場景實(shí)時(shí)變化的需求，并且確保人機(jī)混行的安全性。

算法成果詳解

算法的流程如圖1左所示。首先，利用卷積網(wǎng)絡(luò)提取圖像的特征圖，并用一個(gè)語義分割的Header和一個(gè)特征點(diǎn)提取的Header獲取這張圖像上的對象掩膜和對象上對應(yīng)的特征點(diǎn)。然后利用注意力機(jī)制將對象上離散的特征點(diǎn)形成一個(gè)加權(quán)無向圖，并用圖網(wǎng)絡(luò)處理這個(gè)加權(quán)無向圖。最后，用一個(gè)特征稀疏模塊將多個(gè)低維特征聚合成一個(gè)高維的對象描述符。

圖1.算法流程（左）和特征稀疏模塊流程（右）

為了解決不同視角下同一對象上特征點(diǎn)數(shù)量差異造成對象匹配困難的問題，極智嘉在文中提出了一種特征稀疏聚合的算法。如圖1右所示，兩個(gè)網(wǎng)絡(luò)分支可以同時(shí)學(xué)習(xí)特征點(diǎn)內(nèi)容信息和特征點(diǎn)所占據(jù)對象描述符的位置信息，其結(jié)果按元素相乘聚合后再進(jìn)行二范數(shù)歸一化。

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)包含三部分：稀疏化損失函數(shù)——使聚合前特征點(diǎn)變得更稀疏以降低單個(gè)特征點(diǎn)對對象描述符的影響，稠密化損失函數(shù)——使最終的對象描述符更加稠密以增加描述符的空間利用率，和匹配損失函數(shù)——降低不同圖像上同一對象描述符的距離，同時(shí)增加不同對象描述符的距離。

新算法在OTB，VOT和KITTI數(shù)據(jù)集上取得了優(yōu)異的對象匹配和重定位效果，實(shí)驗(yàn)結(jié)果表明其性能超越了著名的特征聚合算法NetVLAD以及對象匹配算法PR-SR。

圖2.對象匹配實(shí)驗(yàn)結(jié)果

圖3.KITTI Odometry數(shù)據(jù)集上重定位效果

論文鏈接：https://arxiv.org/pdf/2105.00327.pdf

工程代碼：https://github.com/wang-chen/AirCode