1、在無人駕駛技術(shù)實(shí)現(xiàn)時(shí)，往往采用多傳感器融合技術(shù)充分感知三維場(chǎng)景的全局上下文信息。多傳感器融合即融合多個(gè)不同種類的傳感器信息，以便得到更有價(jià)值的特征。同時(shí)，通過融合不同模態(tài)的互補(bǔ)信息，可以進(jìn)一步提高檢測(cè)算法的可感知性、可靠性和魯棒性。由于融合策略的不同，多傳感器深度融合架構(gòu)可大致分為早期融合和晚期融合兩大類。
2、早期融合指的是在用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取前，輸入表示就已經(jīng)結(jié)合多個(gè)模態(tài)的信息，即輸入表示融合了不同傳感器的數(shù)據(jù)，這往往是像素級(jí)別的融合。這種融合方式最常見的方法是對(duì)輸入信號(hào)進(jìn)行簡(jiǎn)單的連接操作，其利用了每個(gè)模態(tài)低水平特征之間的相關(guān)性和相互作用。
3、晚期融合則是融合來自不同傳感器分支的特征，這通常是特征級(jí)的融合。晚期融合使用單獨(dú)的子網(wǎng)為每個(gè)模態(tài)生成特征表示，并通常使用全連接層對(duì)所有單獨(dú)模態(tài)模型的編碼結(jié)果進(jìn)行集成。由于晚期融合方法提取每個(gè)分支的網(wǎng)絡(luò)可以不同，因而可以更好地對(duì)每種模態(tài)數(shù)據(jù)進(jìn)行建模，實(shí)現(xiàn)更大的靈活性。
4、現(xiàn)有的早期融合方案在數(shù)據(jù)輸入層進(jìn)行融合操作，但一般認(rèn)為不同傳感器的數(shù)據(jù)流所包含的信息在高層次維度上才能找到相關(guān)性，特別是無人駕駛技術(shù)所依賴的rgb圖像和點(diǎn)云數(shù)據(jù)，其原始數(shù)據(jù)相關(guān)性差，因此，使用早期融合方案直接融合兩種數(shù)據(jù)難度較大。而晚期融合方案中，不斷有新的融合思路出現(xiàn)，如今常用的就是基于幾何方式的融合思路，其利用精心設(shè)計(jì)的特征投影機(jī)制融合兩個(gè)模態(tài)的特征。這種融合機(jī)制下，信息通常從投影的二維或三維空間中每個(gè)特征周圍的局部鄰域聚集。雖然這些方法比僅直接特征相加或拼接效果更好，但我們觀察到，激光雷達(dá)點(diǎn)云數(shù)據(jù)相比于rgb圖像非常稀疏，融合十分有限，其架構(gòu)設(shè)計(jì)中的局限性阻礙了它們?cè)谡鎸?shí)復(fù)雜動(dòng)態(tài)場(chǎng)景中的性能。
5、無人車輛期望得到不同傳感器的互補(bǔ)信息，如何充分融合兩種模態(tài)的特征是無人駕駛道路車輛檢測(cè)的核心問題，但真實(shí)的三維場(chǎng)景中往往存在大量的復(fù)雜物體，并且由于不同模態(tài)對(duì)于同一個(gè)物體的描述通常不同，要準(zhǔn)確融合對(duì)應(yīng)物體的信息形成更有效的表征往往是十分困難的。同時(shí)整個(gè)三維場(chǎng)景信息量巨大，網(wǎng)絡(luò)提取到的特征并不是每個(gè)都是有效的。
1、本發(fā)明提供了一種基于多傳感器融合的道路車輛感知方法，可用于提高無人駕駛車輛的感知精確度。
4、步驟1，獲取用于道路車輛感知模型訓(xùn)練的目標(biāo)檢測(cè)數(shù)據(jù)，所述目標(biāo)檢測(cè)數(shù)據(jù)包括攝像裝置采集的圖像數(shù)據(jù)和激光掃描儀采集的激光雷達(dá)點(diǎn)云數(shù)據(jù)；并將激光雷達(dá)點(diǎn)云數(shù)據(jù)轉(zhuǎn)換激光雷達(dá)鳥瞰圖；
6、所述道路車輛感知模型包括點(diǎn)級(jí)特征融合模塊和感興趣區(qū)域roi級(jí)特征融合模塊；
7、點(diǎn)級(jí)特征融合模塊包括圖像分支骨干網(wǎng)和激光雷達(dá)分支骨干網(wǎng)，圖像分支骨干網(wǎng)用于對(duì)圖像數(shù)據(jù)進(jìn)行多尺度的圖像特征提取，得到若干不同尺度的第一中間特征圖，以及圖像分支骨干網(wǎng)的最終輸出特征圖；激光雷達(dá)分支骨干網(wǎng)用于對(duì)激光雷達(dá)鳥瞰圖進(jìn)行多尺度的圖像特征提取，得到若干不同尺度的第二中間特征圖，以及激光雷達(dá)分支骨干網(wǎng)的最終輸出特征圖；其中，第一和第二中間特征圖的尺度數(shù)量相同，且同一級(jí)的第一中間特征圖和第二中間特征圖的特征圖維度一致；
8、第一級(jí)的第一和第二中間特征圖經(jīng)基于注意力融合模塊后，得到第一級(jí)融合中間特征圖，第一級(jí)融合中間特征圖與第一級(jí)的第一中間特征圖相加后在圖像分支骨干網(wǎng)上繼續(xù)參與前向計(jì)算；第一級(jí)融合中間特征圖與第一級(jí)的第二中間特征圖相加后在激光雷達(dá)分支骨干網(wǎng)上繼參與前向計(jì)算；
9、且從第二級(jí)中間特征圖開始，圖像分支骨干網(wǎng)與激光雷達(dá)分支骨干網(wǎng)的同級(jí)中間特征圖通過基于transformer的融合模塊進(jìn)行融合，得到當(dāng)前級(jí)融合中間特征圖，再分別與當(dāng)前級(jí)的第一、第二中間特征圖相加后，分別在兩骨干網(wǎng)上繼續(xù)參與前向計(jì)算；
Bsports必一體育
10、roi級(jí)特征融合模塊通過卷積層對(duì)圖像分支骨干網(wǎng)的最終輸出特征圖進(jìn)行道路車輛檢測(cè)，得到若干3d候選框及其道路車輛識(shí)別結(jié)果，經(jīng)得分閾值處理和非最大值抑制操作后，得到若干3d檢測(cè)框；將3d檢測(cè)框分別投影到激光雷達(dá)鳥瞰圖空間和圖像數(shù)據(jù)的二維圖像空間，再對(duì)通過roi特征提取分別得到圖像數(shù)據(jù)和激光雷達(dá)鳥瞰圖兩個(gè)模態(tài)的roi特征，拼接兩個(gè)模態(tài)的roi特征后輸入基于至少兩層全連接層的細(xì)化模塊中，以預(yù)測(cè)每個(gè)3d檢測(cè)框的細(xì)化修正，將細(xì)化修正結(jié)果和3d檢測(cè)框結(jié)合得到最終的道路車輛檢測(cè)結(jié)果；
11、基于目標(biāo)檢測(cè)數(shù)據(jù)和對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)訓(xùn)練道路車輛感知模型時(shí)，模型總損失函數(shù)為為分類損失和回歸損失的總和，當(dāng)滿足預(yù)置的訓(xùn)練收斂條件時(shí)，得到基于多傳感器融合的道路車輛感知器，以用于無人駕駛車輛在行駛過程中的道路車輛感知。
13、本發(fā)明在采用雙流網(wǎng)絡(luò)的道路車輛感知模型中引入注意力機(jī)制和transformer結(jié)構(gòu)聚合不同模態(tài)特征，使兩個(gè)模態(tài)特征互相增強(qiáng)，并使網(wǎng)絡(luò)學(xué)習(xí)全局依賴關(guān)系，在特征提取階段集成全局上下文信息。本發(fā)明利用transformer的自注意力機(jī)制，模型可以自然地同時(shí)進(jìn)行模態(tài)內(nèi)和模態(tài)間融合，并魯棒地捕獲圖像域和激光雷達(dá)域之間的潛在相互作用，從而顯著提高車輛檢測(cè)性能，改進(jìn)了以往融合方法的局限性。本發(fā)明利用roi(region ofinterest)的再次融合，基于再次融合結(jié)果的精細(xì)化修正檢測(cè)結(jié)果，實(shí)現(xiàn)道路上車輛的精確感知。
2.如權(quán)利要求1所述的方法，其特征在于，圖像數(shù)據(jù)的顏色空間為rgb格式。
4.如權(quán)利要求1所述的方法，其特征在于，所述transformer的融合模塊具體為：
5.如權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，模型總損失函數(shù)具體設(shè)置為：
本發(fā)明公開了一種基于多傳感器融合的道路車輛感知方法，屬于無人駕駛技術(shù)領(lǐng)域。本發(fā)明在采用雙流網(wǎng)絡(luò)的道路車輛感知模型中引入注意力機(jī)制和Transformer結(jié)構(gòu)聚合不同模態(tài)特征，使兩個(gè)模態(tài)特征互相增強(qiáng)，并使網(wǎng)絡(luò)學(xué)習(xí)全局依賴關(guān)系，在特征提取階段集成全局上下文信息。本發(fā)明利用Transformer的自注意力機(jī)制，模型可以自然地同時(shí)進(jìn)行模態(tài)內(nèi)和模態(tài)間融合，并魯棒地捕獲圖像域和激光雷達(dá)域之間的潛在相互作用，從而顯著提高車輛檢測(cè)性能，改進(jìn)了以往融合方法的局限性。本發(fā)明利用RoI的再次融合，基于再次融合結(jié)果的精細(xì)化修正檢測(cè)結(jié)果，實(shí)現(xiàn)道路上車輛的精確感知。
如您需求助技術(shù)專家，請(qǐng)點(diǎn)此查看客服電線.生物醫(yī)學(xué)材料及器械 3.聲發(fā)射檢測(cè)技術(shù)。
1.數(shù)字信號(hào)處理 2.傳感器技術(shù)及應(yīng)用 3.機(jī)電一體化產(chǎn)品開發(fā) 4.機(jī)械工程測(cè)試技術(shù) 5.逆向工程技術(shù)研究
