多傳感器校準(zhǔn)在自動(dòng)駕駛汽車中如何工作？

自動(dòng)駕駛汽車中高級(jí)駕駛輔助系統(tǒng) （ADAS） 的多傳感器校準(zhǔn)通過將各種傳感器（如攝像頭、LiDAR 和雷達(dá)）對齊到一個(gè)統(tǒng)一的坐標(biāo)系中，實(shí)現(xiàn)精確的感知和定位，從而確保準(zhǔn)確的數(shù)據(jù)融合。

本文回顧了 ADAS 多傳感器標(biāo)定的類型和技術(shù)。

ADAS 傳感器校準(zhǔn)結(jié)合了單個(gè)傳感器的內(nèi)在考慮因素和系統(tǒng)級(jí)外在因素。本征校準(zhǔn)考慮了一般因素，例如線性度、輸出斜率和偏移，以及傳感器特定的規(guī)格。傳感器特定因素的示例包括：

• 攝像頭 — 焦距、鏡頭畸變、分辨率、高動(dòng)態(tài)范圍 （HDR）、鏡頭聚焦速度、高靈敏度、低照度性能、LED 閃爍緩解（以最大限度地減少交通信號(hào)燈的影響）和低延遲。

• LiDAR — 激光束角、視場 （FOV）、掃描速率、測距精度、角度分辨率和內(nèi)部坐標(biāo)系。

• 雷達(dá) — 天線增益、頻率、脈沖特性、范圍、視場角、分辨率、測速精度以及檢測各種類型物體/材料的能力。

Extrinsic calibration 檢查傳感器之間的空間關(guān)系，包括平移和旋轉(zhuǎn)。它涉及校準(zhǔn)相機(jī)、LiDAR 和雷達(dá)，以確保它們的坐標(biāo)系對齊。例如，它可以驗(yàn)證對象級(jí)跟蹤以及如何使用磁道級(jí)融合方案來融合數(shù)據(jù)。

ADAS 系統(tǒng)的外在標(biāo)定可以結(jié)合使用基于目標(biāo)和無目標(biāo)的方法，或者只采用無目標(biāo)技術(shù)來實(shí)現(xiàn)。

基于目標(biāo)的校準(zhǔn)

基于目標(biāo)的校準(zhǔn)（也稱為受控環(huán)境校準(zhǔn)或靜態(tài)校準(zhǔn)）使用具有特定形狀和大小的目標(biāo)在指定距離內(nèi)校準(zhǔn) ADAS 傳感器在靜態(tài)設(shè)置中的性能。

靜態(tài) ADAS 校準(zhǔn)需要特定的照明條件并且沒有反射表面，以避免傳感器混淆。校準(zhǔn)目標(biāo)用于校準(zhǔn)和校準(zhǔn)傳感器（圖 1）。

圖 1.典型的基于目標(biāo)的 ADAS 標(biāo)定系統(tǒng)。圖片來源：John Bean)

基于目標(biāo)的 ADAS 校準(zhǔn)的高度受控條件支持高精度校準(zhǔn)。然而，使用受控環(huán)境也是一個(gè)限制，因?yàn)?ADAS 通常在道路上不受控制的環(huán)境中運(yùn)行。因此，基于目標(biāo)的 ADAS 標(biāo)定通常與無目標(biāo)標(biāo)定結(jié)合使用。

無目標(biāo)校準(zhǔn)

基于目標(biāo)的 ADAS 標(biāo)定的局限性源于三種傳感器模式提供的多種數(shù)據(jù)類型。攝像頭生成 2D 圖像，LiDAR 生成密集的 3D 點(diǎn)云，雷達(dá)提供稀疏的 4D 點(diǎn)云，其中第四維表示物體的速度。

通過將掃描工具連接到汽車的計(jì)算機(jī)并以指定速度行駛、跟隨其他車輛并在明確標(biāo)記的道路上導(dǎo)航，可以實(shí)現(xiàn)無目標(biāo)校準(zhǔn)。掃描工具可檢測物體和道路標(biāo)記，并使用算法根據(jù)實(shí)際環(huán)境校準(zhǔn)傳感器。

提出了一種基于自我監(jiān)督學(xué)習(xí) （SSL） 和深度神經(jīng)網(wǎng)絡(luò)的新無目標(biāo)校準(zhǔn)方法。在這種方法中，信號(hào)的一部分用于預(yù)測信號(hào)的另一部分。它已用于對雷達(dá)陣列進(jìn)行超分辨率、對相機(jī)幀進(jìn)行上采樣或激光雷達(dá)測量，以改善校準(zhǔn)結(jié)果。

在圖 2a 中，顯示了基于 SSL 的相機(jī)激光雷達(dá)校準(zhǔn)。投影的激光雷達(dá)點(diǎn)云（按范圍著色）和相機(jī)圖像在左側(cè)圖像中明顯未對齊;但是，可以使用 SSL 對齊它們，如右圖所示。

圖 2.使用 SSL 進(jìn)行相機(jī)-激光雷達(dá)校準(zhǔn)（上）和相機(jī)-雷達(dá)校準(zhǔn)（下）的示例。（圖片：Scientific Reports）)

圖 2b 說明了攝像頭-雷達(dá)校準(zhǔn)。校準(zhǔn)前，由青色“+”標(biāo)記表示的雷達(dá)與左側(cè)圖像中移動(dòng)的車輛未對準(zhǔn)。SSL 可用于校準(zhǔn)攝像頭雷達(dá)傳感器并對齊其輸出，如右圖所示。

總結(jié)

ADAS 很復(fù)雜，具有多種傳感器模式，需要不同類型的內(nèi)在和外在校準(zhǔn)。此外，整個(gè) ADAS作需要多模態(tài)校準(zhǔn)，結(jié)合使用基于目標(biāo)和無目標(biāo)的校準(zhǔn)方法。最近，SSL 技術(shù)已應(yīng)用于無目標(biāo) ADAS 傳感器，以提供更好的校準(zhǔn)結(jié)果。