本發(fā)明涉及計算機視覺技術(shù)，尤其涉及一種多傳感器融合標(biāo)定的方法及相關(guān)裝置。
1、多傳感器融合技術(shù)在提高無人駕駛和機器人導(dǎo)航中的環(huán)境感知能力方面得到了廣泛的應(yīng)用。標(biāo)定是多傳感器數(shù)據(jù)融合預(yù)處理的重要環(huán)節(jié)。無人駕駛多傳感器聯(lián)合標(biāo)定的主要研究內(nèi)容為求解多個傳感器坐標(biāo)系的變換關(guān)系，將激光雷達和攝像頭等傳感器的數(shù)據(jù)統(tǒng)一到同一個坐標(biāo)系，即車體坐標(biāo)系下，得到車體周圍障礙物、道路標(biāo)志等目標(biāo)的融合數(shù)據(jù)。然而，大多數(shù)早期激光雷達相機校準(zhǔn)方法使用特定的校準(zhǔn)目標(biāo)和復(fù)雜的手動設(shè)置來提取2d-3d對應(yīng)特征以找到外部參數(shù)。這些方法是離線操作并且不適合于無人駕駛車輛的實時校準(zhǔn)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，光探測和測距激光雷達和相機逐漸過時，基于深度學(xué)習(xí)的多傳感器融合標(biāo)定具有更高精度、更好的適應(yīng)不同環(huán)境和場景而且具有實施校準(zhǔn)等功能。
2、常用的多傳感器融合標(biāo)定的方法有：1)手動標(biāo)定板法，該方法涉及在場景中放置一個已知尺寸和特征的標(biāo)定板，同時采集相機圖像和激光雷達點云數(shù)據(jù)，通過檢測標(biāo)定板上的特征點并將它們在相機圖像和激光雷達數(shù)據(jù)之間進行匹配，可以計算相機和激光雷達之間的外部參數(shù)，該方法可控制、易于實現(xiàn)，但依賴于手工標(biāo)定板，需要大量人工操作，對標(biāo)定板的放置和識別要求高，難以應(yīng)對動態(tài)場景；2)特征點匹配法，該方法通過檢測場景中的特征點(如角點或線段)并將它們在相機圖像和激光雷達數(shù)據(jù)之間進行匹配，從而確定兩者之間的關(guān)系，通常使用ransac等算法來估計外部參數(shù)。該方法無需標(biāo)定板，對場景結(jié)構(gòu)要求相對低，但特征點的提取和匹配可能不穩(wěn)定，需要解決特征點提取和匹配的對應(yīng)關(guān)系問題；3)慣導(dǎo)傳感器法，該方法通過將慣導(dǎo)傳感器(imu)與相機和激光雷達傳感器一起使用，可以估計相機和激光雷達之間的相對位姿，這種方法通常涉及融合imu數(shù)據(jù)來糾正相機和激光雷達之間的誤差，比較適用于移動平臺，可以提高校準(zhǔn)的穩(wěn)定性，但是需要精確的imu數(shù)據(jù)，對于不同運動情況和振動較為敏感。
3、因此存在以下缺點：1)依賴于手工標(biāo)定目標(biāo)，現(xiàn)有方法通常依賴于放置在場景中的手工標(biāo)定目標(biāo)，如標(biāo)定板或標(biāo)志物。這些目標(biāo)需要精確放置，容易受到環(huán)境變化和攝像機視角的影響；2)精度有限，現(xiàn)有方法可能無法提供高精度的校準(zhǔn)，因為它們受到標(biāo)定目標(biāo)的精度限制以及相機和激光雷達測量誤差的影響。這可能導(dǎo)致校準(zhǔn)結(jié)果的不穩(wěn)定性和誤差積累；3)需要人工干預(yù)，目前一些方法可能需要大量人工干預(yù)和手動測量，包括目標(biāo)放置、特征點提取和校準(zhǔn)參數(shù)的調(diào)整。這會增加了校準(zhǔn)的復(fù)雜性和耗時；4)適用性受限，一些傳統(tǒng)方法可能不適用于復(fù)雜的或動態(tài)的場景，因為它們無法處理場景中的運動物體或隨時間變化的場景；5)環(huán)境依賴性，傳統(tǒng)方法通常對環(huán)境變化敏感，如光照條件、場景結(jié)構(gòu)的變化等，這可能會導(dǎo)致校準(zhǔn)的不穩(wěn)定性；6)大規(guī)模難以應(yīng)用，在大規(guī)模的自動化系統(tǒng)中，如無人駕駛領(lǐng)域中，傳統(tǒng)方法可能不夠有效，因為它們難以自動化和擴展到大規(guī)模的數(shù)據(jù)集。
1、為了解決上述技術(shù)問題，本發(fā)明提出一種多傳感器融合標(biāo)定的方法及相關(guān)裝置。在所述方法及相關(guān)裝置中，可以有效地融合和處理多種傳感器數(shù)據(jù)，實現(xiàn)端到端學(xué)習(xí)，并提取高級特征以完成標(biāo)定任務(wù)。
4、獲取多傳感器數(shù)據(jù)并進行預(yù)處理，所述多傳感器數(shù)據(jù)來源于不同類型的傳感器分別采集同一場景的數(shù)據(jù)；
5、將多種傳感器數(shù)據(jù)輸入預(yù)設(shè)的cnn-dnn組合模型中進行訓(xùn)練，獲得訓(xùn)練結(jié)果，將訓(xùn)練結(jié)果輸入到損失函數(shù)中進行損失計算，得到與真實地面值的損失值，基于損失值利用反向傳播算法對模型進行參數(shù)調(diào)優(yōu)，直至達到迭代次數(shù)或損失值滿足預(yù)測要求，輸出訓(xùn)練好的cnn-dnn組合模型；
6、將待融合的多傳感器數(shù)據(jù)輸入至訓(xùn)練好的cnn-dnn組合模型中，進行多傳感器數(shù)據(jù)的實時標(biāo)定。
9、優(yōu)選地，所述cnn-dnn組合模型包括卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)，其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、非線性激活層、池化層和全連接層，用于分別提取相機數(shù)據(jù)和激光雷達數(shù)據(jù)的特征并將每種數(shù)據(jù)的特征輸入至所述深度神經(jīng)網(wǎng)絡(luò)中；所述深度神經(jīng)網(wǎng)絡(luò)包括全連接層、非線性激活層、輸出層和損失函數(shù)，用于融合每種數(shù)據(jù)的特征并基于融合特征預(yù)測相機與激光雷達之間的外部參數(shù)。
16、其中，lr(dc,dl)是旋轉(zhuǎn)損失，lt(dc,dl)是平移損失；λ1和λ2分別表示旋轉(zhuǎn)和平移損失的損失權(quán)重；
19、其中，rgt和rpred是四元數(shù)的基礎(chǔ)真值和預(yù)測，da是兩個四元數(shù)的角距離；所述平移損失使用平滑的l1損失函數(shù)。
必一運動官網(wǎng)
20、基于上述內(nèi)容，本發(fā)明還公開了一種基于深度學(xué)習(xí)的無人駕駛多傳感器融合標(biāo)定的裝置，包括：數(shù)據(jù)處理模塊、訓(xùn)練模塊和標(biāo)定模塊，其中，
21、所述數(shù)據(jù)處理模塊，用于獲取多傳感器數(shù)據(jù)并進行預(yù)處理，所述多傳感器數(shù)據(jù)來源于不同類型的傳感器分別采集同一場景的數(shù)據(jù)；
22、所述訓(xùn)練模塊，用于將多種傳感器數(shù)據(jù)輸入預(yù)設(shè)的cnn-dnn組合模型中進行訓(xùn)練，獲得訓(xùn)練結(jié)果，將訓(xùn)練結(jié)果輸入到損失函數(shù)中進行損失計算，得到與真實地面值的損失值，基于損失值利用反向傳播算法對模型進行參數(shù)調(diào)優(yōu)，直至達到迭代次數(shù)或損失值滿足預(yù)測要求，輸出訓(xùn)練好的cnn-dnn組合模型；
23、所述標(biāo)定模塊，用于將待融合的多傳感器數(shù)據(jù)輸入至訓(xùn)練好的cnn-dnn組合模型中，進行多傳感器數(shù)據(jù)的實時標(biāo)定。
24、基于上述內(nèi)容，本發(fā)明還公開了一種計算機設(shè)備，其特征在于，包括：存儲器，用于存儲計算機程序；處理器，用于執(zhí)行所述計算機程序時實現(xiàn)如上述任一所述的方法。
25、基于上述內(nèi)容，本發(fā)明還公開了一種可讀存儲介質(zhì)，其特征在于，所述可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一所述的方法。
26、基于上述技術(shù)方案，本發(fā)明的有益效果是：本發(fā)明創(chuàng)新性地提出了利用深度學(xué)習(xí)來進行多傳感器融合標(biāo)定的概念。利用卷積神經(jīng)網(wǎng)絡(luò)(cnn)對相機和激光雷達產(chǎn)生的數(shù)據(jù)進行圖像處理、特征提取。該網(wǎng)絡(luò)可以學(xué)習(xí)到圖像的視覺特征，如角點、紋理、物體輪廓等。cnn也可以用來自動檢測激光雷達掃描點云中的特征，如地平面、物體邊緣、拐角等。然后再將相機和激光雷達的這些數(shù)據(jù)融合在一起，以提供更豐富的特征表示，有助于在標(biāo)定過程中進行視覺和激光數(shù)據(jù)的互補。深度神經(jīng)網(wǎng)絡(luò)(dnn)可用于訓(xùn)練相機和激光雷達之間的參數(shù)，融合相機和激光雷達的參數(shù)。最后將訓(xùn)練結(jié)果輸入到損失函數(shù)中進行損失計算，得到的損失值使用反向傳播進行模型訓(xùn)練，從而提高模型性能。將圖像和激光雷達數(shù)據(jù)整合為一個共同的特征表示。cnn用于處理傳感器數(shù)據(jù)的特征提取，而dnn則用于特征融合和參數(shù)標(biāo)定，這兩種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的組合可以更好地應(yīng)對相機和激光雷達數(shù)據(jù)的融合標(biāo)定問題，提供準(zhǔn)確的標(biāo)定結(jié)果。
