?。∕ulti-sensor Information Fusion,MSIF），就是利用計算機技術(shù)將來自多傳感器或多源的信息和數(shù)據(jù)，在一定的準(zhǔn)則下加以自動分析和綜合，以完成所需要的決策和估計而進行的信息處理過程。
一、多傳感器融合幾個概念硬件同步、硬同步：使用同一種硬件同時發(fā)布觸發(fā)采集命令，實現(xiàn)各傳感器采集、測量的時間同步。做到同一時刻采集相同的信息。
必一運動官網(wǎng)
時間同步、時間戳同步、軟同步：通過統(tǒng)一的主機給各個傳感器提供基準(zhǔn)時間，各傳感器根據(jù)已經(jīng)校準(zhǔn)后的各自時間為各自獨立采集的數(shù)據(jù)加上時間戳信息，可以做到所有傳感器時間戳同步，但由于各個傳感器各自采集周期相互獨立，無法保證同一時刻采集相同的信息。
空間同步： 將不同傳感器坐標(biāo)系的測量值轉(zhuǎn)換到同一個坐標(biāo)系中，其中激光傳感器在高速移動的情況下需要考慮當(dāng)前速度下的幀內(nèi)位移校準(zhǔn)。
多傳感器融合基本原理就像人腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優(yōu)化組合處理，最終產(chǎn)生對觀測環(huán)境的一致性解釋。在這個過程中要充分利用多源數(shù)據(jù)進行合理支配與使用，而信息融合的最終目標(biāo)則是基于各傳感器獲得的分離觀測信息，通過對信息多級別、多方面組合導(dǎo)出更多有用信息。這不僅是利用了多個傳感器相互協(xié)同操作的優(yōu)勢，而且也綜合處理了其它信息源的數(shù)據(jù)來提高整個傳感器系統(tǒng)的智能化。
?。?）對傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個直接的屬性說明）進行特征提取的變換，提取代表觀測數(shù)據(jù)的特征矢量Yi；
?。?）對特征矢量Yi進行模式識別處理（如聚類算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標(biāo)屬性判決的統(tǒng)計模式識別法等），完成各傳感器關(guān)于目標(biāo)的說明；
（5）利用融合算法將目標(biāo)的各傳感器數(shù)據(jù)進行合成，得到該目標(biāo)的一致性解釋與描述。
每個傳感器各自獨立處理生成的目標(biāo)數(shù)據(jù)。每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。當(dāng)所有傳感器完成目標(biāo)數(shù)據(jù)生成后，再由主處理器進行數(shù)據(jù)融合。
只有一個感知的算法。對融合后的多維綜合數(shù)據(jù)進行感知。在原始層把數(shù)據(jù)都融合在一起，融合好的數(shù)據(jù)就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到LiDAR的三維信息，就好比是一雙超級眼睛。在這雙超級眼睛上面，開發(fā)自己的感知算法，最后會輸出一個結(jié)果層的物體。
對于多傳感器系統(tǒng)而言，信息具有多樣性和復(fù)雜性，因此對信息融合算法的基本要求是具有魯棒性和并行處理能力。其他要求還有算法的運算速度和精度；與前續(xù)預(yù)處理系統(tǒng)和后續(xù)信息識別系統(tǒng)的接口性能；與不同技術(shù)和方法的協(xié)調(diào)能力；對信息樣本的要求等。一般情況下，基于非線性的數(shù)學(xué)方法，如果具有容錯性、自適應(yīng)性、聯(lián)想記憶和并行處理能力，則都可以用來作為融合方法。
信號級融合方法最簡單直觀的方法是加權(quán)平均法，將一組傳感器提供的冗余信息進行加權(quán)平均，結(jié)果作為融合值。該方法是一種直接對數(shù)據(jù)源進行操作的方法。
主要用于融合低層次實時動態(tài)多傳感器冗余數(shù)據(jù)。該方法用測量模型的統(tǒng)計特性遞推，決定統(tǒng)計意義下的最優(yōu)融合和數(shù)據(jù)估計。如果系統(tǒng)具有線性動力學(xué)模型，且系統(tǒng)與傳感器的誤差符合高斯白噪聲模型，則卡爾曼濾波將為融合數(shù)據(jù)提供唯一統(tǒng)計意義下的最優(yōu)估計。
卡爾曼濾波的遞推特性使系統(tǒng)處理無需大量的數(shù)據(jù)存儲和計算。但是采用單一的卡爾曼濾波器對多傳感器組合系統(tǒng)進行數(shù)據(jù)統(tǒng)計時，存在很多嚴(yán)重問題，例如：① 在組合信息大量冗余情況下，計算量將以濾波器維數(shù)的三次方劇增，實時性難以滿足。② 傳感器子系統(tǒng)的增加使故障概率增加，在某一系統(tǒng)出現(xiàn)故障而沒有來得及被檢測出時，故障會污染整個系統(tǒng)，使可靠性降低。
必一運動官網(wǎng)
將每一個傳感器作為一個貝葉斯估計，把各單獨物體的關(guān)聯(lián)概率分布合成一個聯(lián)合的后驗概率分布函數(shù)，通過使聯(lián)合分布函數(shù)的似然函數(shù)為最小，提供多傳感器信息的最終融合值，融合信息與環(huán)境的一個先驗?zāi)Ｐ鸵蕴峁┱麄€環(huán)境的一個特征描述。
該方法是貝葉斯推理的擴充，包含3個基本要點：基本概率賦值函數(shù)、信任函數(shù)和似然函數(shù)。
D-S方法的推理結(jié)構(gòu)是自上而下的，分為三級：第一級為目標(biāo)合成，其作用是把來自獨立傳感器的觀測結(jié)果合成為一個總的輸出結(jié)果（ID）；第二級為推斷，其作用是獲得傳感器的觀測結(jié)果并進行推斷，將傳感器觀測結(jié)果擴展成目標(biāo)報告。這種推理的基礎(chǔ)是：一定的傳感器報告以某種可信度在邏輯上會產(chǎn)生可信的某些目標(biāo)報告；第三級為更新，各傳感器一般都存在隨機誤差，因此在時間上充分獨立地來自同一傳感器的一組連續(xù)報告比任何單一報告更加可靠。所以在推理和多傳感器合成之前，要先組合（更新）傳感器的觀測數(shù)據(jù)。
采用符號表示目標(biāo)特征和相應(yīng)傳感器信息之間的聯(lián)系，與每一個規(guī)則相聯(lián)系的置信因子表示它的不確定性程度。當(dāng)在同一個邏輯推理過程中，2個或多個規(guī)則形成一個聯(lián)合規(guī)則時，可以產(chǎn)生融合。應(yīng)用產(chǎn)生式規(guī)則進行融合的主要問題是每個規(guī)則置信因子的定義與系統(tǒng)中其他規(guī)則的置信因子相關(guān)，如果系統(tǒng)中引入新的傳感器，需要加入相應(yīng)的附加規(guī)則。
模糊邏輯是多值邏輯，通過指定一個0到1之間的實數(shù)表示真實度（相當(dāng)于隱含算子的前提），允許將多個傳感器信息融合過程中的不確定性直接表示在推理過程中。如果采用某種系統(tǒng)化的方法對融合過程中的不確定性進行推理建模，則可以產(chǎn)生一致性模糊推理。
與概率統(tǒng)計方法相比，邏輯推理存在許多優(yōu)點，它在一定程度上克服了概率論所面臨的問題，對信息的表示和處理更加接近人類的思維方式，一般比較適合于在高層次上的應(yīng)用（如決策）。但是邏輯推理本身還不夠成熟和系統(tǒng)化。此外由于邏輯推理對信息的描述存在很多的主觀因素，所以信息的表示和處理缺乏客觀性。
模糊集合理論對于數(shù)據(jù)融合的實際價值在于它外延到模糊邏輯，模糊邏輯是一種多值邏輯，隸屬度可視為一個數(shù)據(jù)真值的不精確表示。在MSF過程中，存在的不確定性可以直接用模糊邏輯表示，然后使用多值邏輯推理，根據(jù)模糊集合理論的各種演算對各種命題進行合并，進而實現(xiàn)數(shù)據(jù)融合。
神經(jīng)網(wǎng)絡(luò)具有很強的容錯性以及自學(xué)習(xí)、自組織及自適應(yīng)能力，能夠模擬復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這些特性和強大的非線性處理能力，恰好滿足多傳感器數(shù)據(jù)融合技術(shù)處理的要求。在多傳感器系統(tǒng)中，各信息源所提供的環(huán)境信息都具有一定程度的不確定性，對這些不確定信息的融合過程實際上是一個不確定性推理過程。神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接受的樣本相似性確定分類標(biāo)準(zhǔn)，這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)的權(quán)值分布上，同時可以采用學(xué)習(xí)算法來獲取知識，得到不確定性推理機制。利用神經(jīng)網(wǎng)絡(luò)的信號處理能力和自動推理功能，即實現(xiàn)了多傳感器數(shù)據(jù)融合。
