1、近年來,隨著自動駕駛技術(shù)的發(fā)展,多傳感器融合技術(shù)已成為自動駕駛領(lǐng)域中的重要研究方向。多傳感器融合技術(shù)可以將不同類型的傳感器數(shù)據(jù)進行融合,從而提高自動駕駛系統(tǒng)的準(zhǔn)確性和魯棒性。其中,固態(tài)激光雷達是目前自動駕駛系統(tǒng)中最為重要的傳感器之一,其可以提供高分辨率和高精度的環(huán)境地圖。
2、相關(guān)技術(shù)中,由于自動駕駛的感知系統(tǒng)沒有確定的主傳感器,造成在特定場景下不同傳感器模塊的工作效果會出現(xiàn)不同的狀況,這會導(dǎo)致自動駕駛系統(tǒng)整體的安全性降低。
3、基于此,目前亟需一種智能車輛多傳感器系統(tǒng)的融合方法及裝置來解決上述技術(shù)問題。
1、本發(fā)明實施例提供了一種智能車輛多傳感器系統(tǒng)的融合方法及裝置,能夠有效降低集成成本,提高自動駕駛系統(tǒng)整體的安全性。
2、第一方面,本發(fā)明實施例提供了一種智能車輛多傳感器系統(tǒng)的融合方法,包括:
3、獲取自動駕駛系統(tǒng)的傳感器的采集數(shù)據(jù);其中,所述采集數(shù)據(jù)包括圖像數(shù)據(jù)和定位數(shù)據(jù),所述圖像數(shù)據(jù)包括固態(tài)激光雷達傳感器采集的第一數(shù)據(jù)和其余傳感器采集的第二數(shù)據(jù),當(dāng)所述第二數(shù)據(jù)與所述第一數(shù)據(jù)之間存在誤差時,利用所述第一數(shù)據(jù)對所述第二數(shù)據(jù)進行校正;
必一運動sport網(wǎng)頁版登錄
4、對所述定位數(shù)據(jù)、所述第一數(shù)據(jù)和所述第二數(shù)據(jù)均進行預(yù)處理,依次得到定位標(biāo)準(zhǔn)數(shù)據(jù)、第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù);
5、基于所述定位標(biāo)準(zhǔn)數(shù)據(jù)、所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù),確定汽車的融合位置信息;
6、基于所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù),確定所述汽車的融合識別信息;其中,所述融合識別信息包括原始識別信息、深度識別信息和精確識別信息;
8、優(yōu)選地,所述對所述定位數(shù)據(jù)、所述第一數(shù)據(jù)和所述第二數(shù)據(jù)均進行預(yù)處理,依次得到定位標(biāo)準(zhǔn)數(shù)據(jù)、第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù),包括:
9、對所述定位數(shù)據(jù)、所述第一數(shù)據(jù)和所述第二數(shù)據(jù)均進行優(yōu)化處理,依次得到定位優(yōu)化數(shù)據(jù)、第一優(yōu)化數(shù)據(jù)和第二優(yōu)化數(shù)據(jù);其中,所述優(yōu)化處理包括丟幀補償處理、噪聲過濾處理和數(shù)據(jù)預(yù)測處理;
10、對所述定位優(yōu)化數(shù)據(jù)進行第一標(biāo)準(zhǔn)化處理,得到定位標(biāo)準(zhǔn)數(shù)據(jù);其中,所述第一標(biāo)準(zhǔn)化處理包括定位數(shù)據(jù)標(biāo)準(zhǔn)化和定位坐標(biāo)系標(biāo)準(zhǔn)化;
11、對所述第一優(yōu)化數(shù)據(jù)和所述第二優(yōu)化數(shù)據(jù)均進行第二標(biāo)準(zhǔn)化處理,依次得到第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù);其中,所述第二標(biāo)準(zhǔn)化處理包括數(shù)據(jù)結(jié)構(gòu)標(biāo)準(zhǔn)化、數(shù)據(jù)話題信息標(biāo)準(zhǔn)化和時間戳同步標(biāo)準(zhǔn)化。
12、優(yōu)選地,所述基于所述定位標(biāo)準(zhǔn)數(shù)據(jù)、所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù),確定汽車的融合位置信息,包括:
13、基于視覺slam算法對所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù)均進行處理,得到所述汽車的實時定位結(jié)果;
14、利用所述實時定位結(jié)果對所述定位標(biāo)準(zhǔn)數(shù)據(jù)進行校準(zhǔn),得到所述融合位置信息。
16、對所述第一標(biāo)準(zhǔn)數(shù)據(jù)的第一信息矩陣和所述第二標(biāo)準(zhǔn)數(shù)據(jù)的第二信息矩陣進行融合,得到融合信息矩陣;
17、對所述融合信息矩陣進行特征提取,并對提取結(jié)果進行識別,得到所述汽車的原始識別信息。
19、基于點云特征提取網(wǎng)絡(luò)對所述第一標(biāo)準(zhǔn)數(shù)據(jù)進行處理,得到第一特征矩陣;
20、基于輔助特征提取網(wǎng)絡(luò)對所述第二標(biāo)準(zhǔn)數(shù)據(jù)進行處理,得到第二特征矩陣;
21、對所述第一特征矩陣和所述第二特征矩陣進行融合處理,得到融合特征矩陣;
22、對所述融合特征矩陣進行特征提取,并對提取結(jié)果進行識別,得到所述汽車的深度識別信息。
24、對所述第一標(biāo)準(zhǔn)數(shù)據(jù)依次進行點云目標(biāo)分割處理和點云目標(biāo)辨識處理,得到第一識別結(jié)果;
26、對所述第一識別結(jié)果和所述第二識別結(jié)果進行目標(biāo)融合處理,得到所述汽車的精確識別信息。
27、優(yōu)選地,所述基于所述融合位置信息和所述融合識別信息,控制所述汽車的行駛路徑,包括:
30、基于所述靜態(tài)場景信息和所述動態(tài)跟蹤預(yù)測模型,控制所述汽車的行駛路徑。
31、第二方面,本發(fā)明實施例還提供了一種智能車輛多傳感器系統(tǒng)的融合裝置,包括:
32、獲取單元,用于獲取自動駕駛系統(tǒng)的傳感器的采集數(shù)據(jù);其中,所述采集數(shù)據(jù)包括圖像數(shù)據(jù)和定位數(shù)據(jù),所述圖像數(shù)據(jù)包括固態(tài)激光雷達傳感器采集的第一數(shù)據(jù)和其余傳感器采集的第二數(shù)據(jù),當(dāng)所述第二數(shù)據(jù)與所述第一數(shù)據(jù)不同時,利用所述第一數(shù)據(jù)對所述第二數(shù)據(jù)進行校正;
33、處理單元,用于對所述定位數(shù)據(jù)、所述第一數(shù)據(jù)和所述第二數(shù)據(jù)均進行預(yù)處理,依次得到定位標(biāo)準(zhǔn)數(shù)據(jù)、第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù);
34、第一確定單元,用于基于所述定位標(biāo)準(zhǔn)數(shù)據(jù)、所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù),確定汽車的融合位置信息;
35、第二確定單元,用于基于所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù),確定所述汽車的融合識別信息;其中,所述融合識別信息包括原始識別信息、深度識別信息和精確識別信息;
36、控制單元,用于基于所述融合位置信息和所述融合識別信息,控制所述汽車的行駛路徑。
37、第三方面,本發(fā)明實施例還提供了一種電子設(shè)備,包括存儲器和處理器,所述存儲器中存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時,實現(xiàn)本說明書任一實施例所述的方法。
38、第四方面,本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,當(dāng)所述計算機程序在計算機中執(zhí)行時,令計算機執(zhí)行本說明書任一實施例所述的方法。
39、本發(fā)明實施例提供了一種智能車輛多傳感器系統(tǒng)的融合方法及裝置,首先構(gòu)建以固態(tài)激光雷達組作為主感知硬件的標(biāo)準(zhǔn)框架,并在框架中設(shè)置相互通信連接的數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)標(biāo)準(zhǔn)化模塊、信息識別模塊、定位模塊、感知融合模塊、靜態(tài)場景認(rèn)知模塊和動態(tài)目標(biāo)認(rèn)知模塊,每個模塊依靠各自的功能模塊實現(xiàn)系統(tǒng)與系統(tǒng)之間的信息交互與傳遞,最后將目標(biāo)識別、跟蹤、預(yù)測的結(jié)果以靜態(tài)、動態(tài)交通參與者信息的形式提供給自動駕駛車輛的決策系統(tǒng)以控制車輛做出安全穩(wěn)定的動作。通過上述方法可以有效提高自動駕駛系統(tǒng)的準(zhǔn)確性、魯棒性、安全性、可維護性和可升級性,同時降低自動駕駛系統(tǒng)的開發(fā)和集成成本,促進自動駕駛技術(shù)的發(fā)展。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述對所述定位數(shù)據(jù)、所述第一數(shù)據(jù)和所述第二數(shù)據(jù)均進行預(yù)處理,依次得到定位標(biāo)準(zhǔn)數(shù)據(jù)、第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù),包括:
必一運動sport網(wǎng)頁版登錄
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述基于所述定位標(biāo)準(zhǔn)數(shù)據(jù)、所述第一標(biāo)準(zhǔn)數(shù)據(jù)和所述第二標(biāo)準(zhǔn)數(shù)據(jù),確定汽車的融合位置信息,包括:
4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述原始識別信息具體是通過如下方式得到的:
5.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述深度識別信息具體是通過如下方式得到的:
6.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述精確識別信息具體是通過如下方式得到的:
7.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述基于所述融合位置信息和所述融合識別信息,控制所述汽車的行駛路徑,包括:
9.一種電子設(shè)備,其特征在于,包括存儲器和處理器,所述存儲器中存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時,實現(xiàn)如權(quán)利要求1-7中任一項所述的方法。
10.一種計算機可讀存儲介質(zhì),其特征在于,其上存儲有計算機程序,當(dāng)所述計算機程序在計算機中執(zhí)行時,令計算機執(zhí)行權(quán)利要求1-7中任一項所述的方法。
本發(fā)明提供了一種智能車輛多傳感器系統(tǒng)的融合方法及裝置,其中方法包括:獲取自動駕駛系統(tǒng)的傳感器的采集數(shù)據(jù);其中,采集數(shù)據(jù)包括圖像數(shù)據(jù)和定位數(shù)據(jù),圖像數(shù)據(jù)包括固態(tài)激光雷達傳感器采集的第一數(shù)據(jù)和其余傳感器采集的第二數(shù)據(jù),利用第一數(shù)據(jù)對第二數(shù)據(jù)進行校正;對定位數(shù)據(jù)、第一數(shù)據(jù)和第二數(shù)據(jù)均進行預(yù)處理,依次得到定位標(biāo)準(zhǔn)數(shù)據(jù)、第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù);基于定位標(biāo)準(zhǔn)數(shù)據(jù)、第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù),確定汽車的融合位置信息;基于第一標(biāo)準(zhǔn)數(shù)據(jù)和第二標(biāo)準(zhǔn)數(shù)據(jù),確定汽車的融合識別信息;基于融合位置信息和融合識別信息,控制汽車的行駛路徑。本方案能夠有效整合和管理多種傳感器的數(shù)據(jù),使其更加可靠和精確。
楊世春,盧家懌,曹耀光,張博奧,馮鑫杰,孫玢,許靖云,張夢月,閆嘯宇,陳飛,周帆,彭朝霞
技術(shù)研發(fā)人員:楊世春,盧家懌,曹耀光,張博奧,馮鑫杰,孫玢,許靖云,張夢月,閆嘯宇,陳飛,周帆,彭朝霞
1.計算機視覺 2.無線.計算機仿線.網(wǎng)絡(luò)安全;物聯(lián)網(wǎng)安全 、大數(shù)據(jù)安全 2.安全態(tài)勢感知、輿情分析和控制 3.區(qū)塊鏈及應(yīng)用