BEV 感知算法評(píng)價(jià)指標(biāo)簡(jiǎn)介

一、引言

智能駕駛感知模塊可以根據(jù)目標(biāo)的屬性和環(huán)境信息，分為三類關(guān)鍵任務(wù)：動(dòng)態(tài)感知任務(wù)、靜態(tài)結(jié)構(gòu)感知任務(wù)和可通行區(qū)域（Freespace）感知任務(wù)。本文將介紹三大任務(wù)中常見(jiàn)的精度評(píng)價(jià)指標(biāo)。如果有不正確的地方，歡迎評(píng)論指正。

二、動(dòng)態(tài)常見(jiàn)指標(biāo)

在 BEV（Bird’s Eye View）動(dòng)態(tài)任務(wù)中，核心目標(biāo)通常是檢測(cè)和跟蹤空間中動(dòng)態(tài)的物體，比如汽車、行人、自行車等。為了全面評(píng)估這類算法的性能，研究者通常采用一組衡量檢測(cè)質(zhì)量與幾何精度的指標(biāo)。

以下是 BEV 動(dòng)態(tài)任務(wù)中常用的指標(biāo)詳解，包括 F1-score、Recall、Precision、Angle Distance 等。

2.1 Precision（查準(zhǔn)率）

定義為預(yù)測(cè)為正樣本中，實(shí)際為正的比例：

* TP（True Positives）：正確檢測(cè)的目標(biāo)

* FP（False Positives）：誤檢為目標(biāo)的非目標(biāo)區(qū)域

> 3D/BEV 使用 IoU（交并比） 來(lái)判斷預(yù)測(cè)框和 GT 框是否匹配（如 BEV IoU > 0.5）：匹配成功為 TP，否則為 FP 或 FN

2.2 Recall（查全率）

定義為實(shí)際為正樣本中，被正確預(yù)測(cè)出來(lái)的比例：

* FN（False Negatives）：漏檢的目標(biāo)

2.3 F1-score（調(diào)和平均）

Precision 和 Recall 的綜合指標(biāo)：

F1-score、Recall、Precision 是檢測(cè)任務(wù)中最基礎(chǔ)也最核心的指標(biāo)，它們之間互為補(bǔ)充：

* Precision 高：誤檢少

* Recall 高：漏檢少

* F1-score 高：兩者都兼顧

2.4 Angle Distance

Angle Distance（角度距離）是指檢測(cè)的目標(biāo)朝向與真實(shí)朝向之間的夾角誤差，用于衡量模型對(duì) 3D 目標(biāo)朝向（orientation）估計(jì) 的準(zhǔn)確性。

假設(shè)：真實(shí)朝向角為 $$\theta_{\text{gt}}$$，預(yù)測(cè)朝向角為 $$\theta_{\text{pred}}$$，Angle Distance 通常定義為它們之間的最小夾角差值：

有時(shí)也會(huì)定義為：

有時(shí)還可以這么定義（角度是圓周值，要區(qū)分好，保證 179° 與 -179° 的差為 2° 而非 358°，-178% 360 = 182）：

具體怎么定義大家還可以自行修改。

為什么 Angle Distance 重要呢？在 BEV 動(dòng)態(tài)任務(wù)中，目標(biāo)不僅要被正確檢測(cè)出來(lái)，還要給出準(zhǔn)確的 3D 方向，例如車輛前進(jìn)方向。如果朝向估計(jì)錯(cuò)了：會(huì)導(dǎo)致運(yùn)動(dòng)軌跡預(yù)測(cè)偏差，會(huì)影響下游行為規(guī)劃、避障決策，也會(huì)影響多車協(xié)同定位、車道保持等功能。

三、靜態(tài)常見(jiàn)指標(biāo)

在智能駕駛中的靜態(tài)感知任務(wù)里，主要關(guān)注車道線、道路邊界、停止線等靜態(tài)目標(biāo)。這類信息對(duì)地圖構(gòu)建、定位、行為規(guī)劃等很重要。具體做法是輸出 BEV 視角下的多類別 矢量圖結(jié)構(gòu)（如 divider 車道分隔線、boundary 道路邊界、stopline 停止線、arrow 箭頭），表示為多段 polyline（折線點(diǎn)序列）。在指標(biāo)層面，通常會(huì)用 Recall / Precision / F1-score、angle distance 等一些指標(biāo)來(lái)衡量結(jié)構(gòu)、形狀等多方面的準(zhǔn)確性。

3.1 Recall / Precision / F1-score

* 對(duì)每類結(jié)構(gòu)（如 divider， boundary， arrow， stopline）分別統(tǒng)計(jì)檢測(cè)情況：

1.     Precision：預(yù)測(cè)中有多少是真的。

2.     Recall：GT 中被檢測(cè)到的比例。

3.     F1-score：PR 的綜合評(píng)價(jià)。

特別適用于不同語(yǔ)義結(jié)構(gòu)的建圖檢測(cè)評(píng)估。

3.2 Angle Distance

在靜態(tài)建圖任務(wù)（如 MapTR）中，Angle Distance （角度距離）衡量的是預(yù)測(cè)的多段折線（Polyline）與真實(shí)標(biāo)注之間的方向差異，其本質(zhì)是對(duì)幾何方向一致性的評(píng)估，而非僅僅是點(diǎn)的位置誤差。

在地圖感知中，不僅希望預(yù)測(cè)的 polyline 與 GT 在空間上貼合（即有小的距離誤差），還希望其走向一致，比如一個(gè)車道線應(yīng)該是向前延伸的，而不是偏向左或右。

一段折線由若干連續(xù)點(diǎn)組成，設(shè)真實(shí)折線為$$P = {p_1， p_2， …， p_n}$$，預(yù)測(cè)折線為 $$\hat{P} = {\hat{p}_1， \hat{p}_2， …， \hat{p}_n}$$，我們通常選用首尾或任意兩個(gè)相鄰點(diǎn)構(gòu)建向量：

Angle Distance $$\theta$$可以表示為

用角度（單位通常為度）來(lái)表示角度距離：

* θ = 0°：方向完全一致；

* θ → 180°：方向完全相反。

對(duì)于多段 polyline，由多個(gè)點(diǎn)段組成，角度距離可以有以下幾種方式：

1. 首尾向量法（常用）：取 polyline 的首尾兩點(diǎn)構(gòu)建整體方向向量進(jìn)行角度比較。

2. 平均向量方向法：每段相鄰點(diǎn)構(gòu)建向量，計(jì)算所有角度誤差的平均值。

3. 加權(quán)平均方向法：考慮段長(zhǎng)權(quán)重，對(duì)角度誤差加權(quán)平均。

3.3 mAP

mAP（mean Average Precision）原本用于目標(biāo)檢測(cè)任務(wù)，用于衡量預(yù)測(cè)結(jié)果和真實(shí)目標(biāo)之間的 精度和召回的綜合性能。在 MapTR 中，它被適配到了 矢量化地圖元素檢測(cè)任務(wù)中。

divider 車道分隔線、boundary 道路邊界、stopline 停止線等元素是以 一系列二維點(diǎn) 的形式輸出（如 [x1，y1，x2，y2，…]），預(yù)測(cè)和 GT 的匹配需要使用更復(fù)雜的匹配策略。正確匹配（True Positive， TP）條件：滿足以下所有條件（可以更多 or 更少），才被認(rèn)為是 TP：

* 與 GT 的 點(diǎn)間距離均方差（Chamfer 或 L1） 小于閾值；

* 平均角度誤差（如 angle_distance）低于設(shè)定值；

* 同類（如 divider 對(duì) divider）；

* 長(zhǎng)度差在一定范圍內(nèi)。

否則判為 FP（False Positive）。對(duì)于每一類元素（如 Lane、Divider、Boundary）：

* 將預(yù)測(cè)結(jié)果和 GT 匹配；

* 計(jì)算每個(gè) Recall 點(diǎn)下的 Precision；

* 畫出 PR 曲線，計(jì)算曲線下的面積（AP）；

對(duì)所有類別的 AP 求平均，得出 mAP。

舉個(gè)例子：假設(shè)預(yù)測(cè)了如下 3 條 lane：

* Lane1：與 GT 完全重合 → TP

* Lane2：略微偏離但在閾值內(nèi) → TP

* Lane3：偏離太大 → FP

GT 有 4 條 lane → 有 1 個(gè) FN（漏檢），然后基于這些 TP、FP、FN，畫出 Precision-Recall 曲線，計(jì)算 AP。

四、Freespace

Freespace 任務(wù)旨在預(yù)測(cè)環(huán)境中可通行區(qū)域與障礙物位置。通過(guò)對(duì)周圍三維空間進(jìn)行體素劃分，輸出每個(gè) voxel（體素）的占用狀態(tài)。

4.1 交并比（IoU）

定義：在 Freespace OCC 任務(wù)中，通常將預(yù)測(cè)的可行駛區(qū)域與真實(shí)的可行駛區(qū)域看作兩個(gè)集合，交并比就是這兩個(gè)集合交集的元素個(gè)數(shù)與并集的元素個(gè)數(shù)的比值。

計(jì)算方式：

其中 TP（True Positive）是指正確預(yù)測(cè)為可行駛區(qū)域的數(shù)量，F(xiàn)P（False Positive）是指錯(cuò)誤預(yù)測(cè)為可行駛區(qū)域的數(shù)量，F(xiàn)N（False Negative）是指將實(shí)際可行駛區(qū)域錯(cuò)誤預(yù)測(cè)為非可行駛區(qū)域的數(shù)量。

作用：用于衡量預(yù)測(cè)結(jié)果與真實(shí)情況的重疊程度，取值范圍在 0 到 1 之間，值越接近 1，表示預(yù)測(cè)結(jié)果與真實(shí)情況越吻合，模型性能越好。

4.2 平均交并比（mIoU）

定義：如果數(shù)據(jù)集中存在多個(gè)類別（例如不同場(chǎng)景下的可行駛區(qū)域，或者區(qū)分了不同類型的障礙物等），則分別計(jì)算每個(gè)類別的 IoU，然后再求平均值，得到平均交并比。

計(jì)算方式：

其中 C 是類別數(shù)。

作用：能更全面地評(píng)估模型在多類別情況下對(duì)可行駛區(qū)域和各類障礙物的檢測(cè)性能，避免只關(guān)注整體而忽略了不同類別之間的差異。

4.3 準(zhǔn)確率（Accuracy）

定義：是指預(yù)測(cè)正確的樣本數(shù)占總樣本數(shù)的比例。

計(jì)算方式：正確預(yù)測(cè)為可行駛區(qū)域 與 正確預(yù)測(cè)為非可行駛區(qū)域的體素?cái)?shù)量之和，除以總的體素?cái)?shù)量。

作用：直觀地反映了模型預(yù)測(cè)的準(zhǔn)確程度，但當(dāng)數(shù)據(jù)集中正負(fù)樣本不均衡時(shí)，準(zhǔn)確率可能會(huì)產(chǎn)生誤導(dǎo)，不能很好地體現(xiàn)模型對(duì)少數(shù)類別的檢測(cè)能力。

4.4 召回率（Recall）

定義：也叫查全率，是指實(shí)際為正例的樣本中被正確預(yù)測(cè)為正例的比例。

計(jì)算方式：真實(shí)可行駛區(qū)域中被正確預(yù)測(cè)為可行駛區(qū)域的體素?cái)?shù)量，除以真實(shí)可行駛區(qū)域的體素?cái)?shù)量。

作用：用于衡量模型對(duì)可行駛區(qū)域的檢測(cè)能力，召回率越高，說(shuō)明模型能夠檢測(cè)出更多的真實(shí)可行駛區(qū)域，對(duì)避免遺漏可行駛區(qū)域非常重要，特別是在一些對(duì)安全性要求較高的自動(dòng)駕駛場(chǎng)景中。

4.5 F1-score

定義：是準(zhǔn)確率和召回率的調(diào)和平均數(shù)計(jì)算方式：

作用：綜合考慮了準(zhǔn)確率和召回率，當(dāng) F1 值較高時(shí)，說(shuō)明模型在檢測(cè)可行駛區(qū)域時(shí)，既能保證較高的準(zhǔn)確率，又能有較好的召回率，是一個(gè)比較全面的評(píng)價(jià)指標(biāo)，常用于綜合評(píng)估模型情況。