自動駕駛系統(tǒng)由環(huán)境感知、規(guī)劃、決策、控制等幾個模塊組成，其中環(huán)境感知需要用到諸如攝像頭、毫米波雷達、激光雷達等傳感設備來獲取周圍環(huán)境的信息。不同種的傳感器有著不同的優(yōu)勢與缺陷，為了使感知層獲得的信息更為豐富、準確，通常需要將不同的傳感器進行融合。本文著重介紹多傳感器融合的概念與相關知識，不具體介紹技術細節(jié)。

　　自動駕駛系統(tǒng)需要考慮多方面的因素：天氣、光照條件、距離、維度及精度與系統(tǒng)級要求。除此之外，對于傳感器，成本可控、滿足車規(guī)要求也是十分重要的。

　　各種傳感器各有優(yōu)劣，一種傳感器無法適配所有場景，因此需要出色的傳感器融合技術。比如，攝像頭顏色細節(jié)豐富、紋理細節(jié)豐富，但缺乏深度信息，且易受光照的影響；LiDAR具有完整的3D信息，對距離感知能力強，但成本高，量產難度大，對雨水、灰塵敏感；RaDAR全天候工作，速度感知能力強，量產成熟，但高度和角度精度低，靜止障礙物感知能力弱。

　　區(qū)域0:常為車身感知盲區(qū)，主要用于慢速行駛的安全冗余以及泊車場景，優(yōu)先級高;

　　身在硅谷的A同學和身在北京的B同學約了北京時間明早9點，開一個簡短的會。

　　北京時間早上九點是時序。同學與手機之間存在閉環(huán)，同學通過鬧鐘等方式查詢時間是否到了北京時間早上九點；手機與網絡存在閉環(huán)，通過同步時間完成閉環(huán)；最后通過協(xié)作分工達到運行流暢（大的閉環(huán)）。

　　如此可以得知時序閉環(huán)的目的——讓所有的參與者都在同一個時序上運轉并持續(xù)維護時序的高精度運行。

　　每種電子設備都有各自的時鐘，起始時間均不相同，而且因晶振質量的差異，頻率也不同。

　　通過以上兩種方式接入GNSS+IMU設備或者主機所屬的以太網即可。以上同步周期進行，可控制在微秒級精度。

　　對于camera，非定制相機模組不支持時鐘同步，定制相機可選擇支持。對于radar，非定制Radar不支持時鐘同步。對于超聲波雷達非定制超聲波雷達不支持時鐘同步。

　　優(yōu)點:系統(tǒng)精度更高，可將系統(tǒng)同步精度控制在Δ \DeltaΔt 5ms;

　　sensort為t時刻傳感器系統(tǒng)采集的信息，通常包含{gnsst, imagest, pointclouds.,-.};

　　objectst為t時刻環(huán)境中的目標級障礙物，可用位置、速度、加速度、類別等屬性描述獨立個體;

　　scenariot為t時刻環(huán)境中的語義級別元素描述，通常不能獨立的障礙物形式表達，如施工區(qū)域、雨水場景等;

　　前融合(early fusion) :多模數(shù)據直接輸入模型，讓模型通過多模數(shù)據提升目標檢測精度的融合方式。

　　以向量的形式表述時，對應的向量為狀態(tài)向量