數(shù)據(jù)閉環(huán)實踐數(shù)據(jù)閉環(huán)的目的是形成場景數(shù)據(jù)到算法的閉環(huán)，達(dá)到快速提升感知性能的目的。其涉及到多個方面，例如如何挖掘高價值場景數(shù)據(jù)，如何提升標(biāo)注效率，以及模型的快速部署驗證等。圍繞這個目標(biāo)，馭勢數(shù)據(jù)閉環(huán)體系可概括為以下幾個方面：基于主動學(xué)習(xí)的數(shù)據(jù)挖掘、自動標(biāo)注、半監(jiān)督訓(xùn)練、云端訓(xùn)練部署體系等幾個方面，圖24總結(jié)了數(shù)據(jù)閉環(huán)體系的基本框架：
圖 24：馭勢數(shù)據(jù)閉環(huán)框架基于主動學(xué)習(xí)的數(shù)據(jù)挖掘數(shù)據(jù)閉環(huán)的首要任務(wù)是如何發(fā)現(xiàn)corner case場景。為解決這個問題，我們提出了基于主動學(xué)習(xí)的方法來識別系統(tǒng)未很好理解的場景。其基本思想是用不確定性來衡量模型的檢測效果，篩選出不確定性高的目標(biāo)場景。我們從不確定度和類別均衡兩個維度來衡量場景的不確定性。其中不確定度包含類別的不確定度以及位置的不確定度。圖25和圖26展示了利用主動學(xué)習(xí)系統(tǒng)篩選出來的異常數(shù)據(jù)幀：
圖25：主動學(xué)習(xí)數(shù)據(jù)挖掘：目標(biāo)框錯誤
圖26：主動學(xué)習(xí)數(shù)據(jù)挖掘：低得分目標(biāo)自動標(biāo)注點云數(shù)據(jù)的標(biāo)注成本非常昂貴，同時標(biāo)注周期也很長，影響模型的迭代效率。為此，我們提出了一種自動化的標(biāo)注方法，使得標(biāo)注效率成倍提升，大大縮短了模型迭代周期，同時節(jié)省了成本。其自動標(biāo)注流程如圖27所示。
圖 27：自動標(biāo)注流程圖
- 首先，我們利用時序大模型來尋找目標(biāo)框，完成預(yù)標(biāo)注；
- 其次，利用貼邊算法來修正模型預(yù)標(biāo)注框；
- 最后，標(biāo)注員對預(yù)標(biāo)注結(jié)果進(jìn)行檢查、修正，形成最終的標(biāo)注結(jié)果。
通過效率評估，我們發(fā)現(xiàn)自動標(biāo)注可提升標(biāo)注效率達(dá)到人工標(biāo)注的5-10倍，同時得到近似的模型精度。標(biāo)注效率得到顯著提升，圖28展示了自動標(biāo)注的效果。
圖28：自動標(biāo)注效果圖半監(jiān)督訓(xùn)練自動、半自動標(biāo)注工具能夠顯著提升標(biāo)注效率，但大規(guī)模的數(shù)據(jù)標(biāo)注仍然需要消耗不小的人力成本。因此，我們也在探索半監(jiān)督、無監(jiān)督的訓(xùn)練方法。我們期望能夠利用少量的數(shù)據(jù)標(biāo)注，對模型進(jìn)行半監(jiān)督的訓(xùn)練，同時模型精度能夠達(dá)到全量數(shù)據(jù)標(biāo)注的水平。圖29描述了半監(jiān)督訓(xùn)練的框架。
圖 29：半監(jiān)督訓(xùn)練框架
- 第一步，我們標(biāo)注少量的數(shù)據(jù)，并用該少量標(biāo)注數(shù)據(jù)訓(xùn)練Student網(wǎng)絡(luò)和Senior Teacher網(wǎng)絡(luò)。
- 第二步，用少量數(shù)據(jù)迭代后的Student2網(wǎng)絡(luò)在Teacher網(wǎng)絡(luò)，以及Sensor Teacher的監(jiān)督下使用未標(biāo)注的數(shù)據(jù)進(jìn)行半監(jiān)督訓(xùn)練。
我們通過量化分析，發(fā)現(xiàn)通過半監(jiān)督訓(xùn)練的網(wǎng)絡(luò)精度能夠獲得和全量數(shù)據(jù)標(biāo)注差不多的效果。并且通過半監(jiān)督方法，可以進(jìn)一步降低標(biāo)注成本。圖30紅色框為標(biāo)注Ground Truth結(jié)果，綠色框為經(jīng)過半監(jiān)督訓(xùn)練后預(yù)測的結(jié)果，可以看到半監(jiān)督訓(xùn)練的預(yù)測結(jié)果基本上和Ground Truth一致。
圖30：半監(jiān)督訓(xùn)練預(yù)測結(jié)果和真值對比長尾問題案例在開放道路中不可避免地遇到各種各樣的corner case，灑水車便是其中之一。灑水車產(chǎn)生的大量水霧在激光雷達(dá)點云上會產(chǎn)生大量的噪點，同時也會對攝像頭成像產(chǎn)生巨大干擾。我們通過數(shù)據(jù)閉環(huán)積累了大量數(shù)據(jù)，通過多傳感器融合、以及數(shù)據(jù)增強(qiáng)手段有效解決了此類問題。圖31展示了當(dāng)無人車穿越灑水車的場景，感知系統(tǒng)穩(wěn)定感知到了左前方的灑水車，并成功穿越了水霧。
圖31：灑水車識別案例此外，極端天氣下的訓(xùn)練數(shù)據(jù)往往難于獲取。為此，我們提出了一種數(shù)據(jù)增強(qiáng)策略，來模擬雨、雪、霧天的數(shù)據(jù)。圖32是在正常點云數(shù)據(jù)中引入數(shù)據(jù)增強(qiáng)后模擬的雨天數(shù)據(jù)。
圖 32：雨天數(shù)據(jù)增強(qiáng)效果經(jīng)過量化評估發(fā)現(xiàn)，在引入極端天氣數(shù)據(jù)增強(qiáng)后，模型在極端天氣數(shù)據(jù)上提升非常明顯。如圖33所示，在雨天數(shù)據(jù)上，引入數(shù)據(jù)增強(qiáng)后模型可正確檢測出目標(biāo)（紅色框），而未引入數(shù)據(jù)增強(qiáng)模型則發(fā)生漏檢（黃色框）。
圖 33：引入數(shù)據(jù)增強(qiáng)后的模型檢測效果
總結(jié)與展望自動駕駛感知技術(shù)無論是純視覺技術(shù)路線還是多傳感器融合技術(shù)路線都在朝著特征前融合、端到端大模型以及打造高效數(shù)據(jù)閉環(huán)的方向發(fā)展，也取得了長足進(jìn)步。相信隨著深度學(xué)習(xí)技術(shù)的發(fā)展以及算力不斷提升，感知問題會得到更好的解決，推動自動駕駛向全天候、全無人的目標(biāo)邁進(jìn)。參考文獻(xiàn)[1] You Only Look Once: Unified, Real-Time Object Detection[2] Fast R-CNN[3] FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection[4] Categorical Depth Distribution Network for Monocular 3D Object Detection[5] DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries[6] BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers[7] PointPillars: Fast Encoders for Object Detection from Point Clouds[8] Center-based 3D Object Detection and Tracking[9] Multi-View 3D Object Detection Network for Autonomous Driving[10] FUTR3D: A Unified Sensor Fusion Framework for 3D Detection[11] BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation[12] Tesla AI Day 2021, https://www.youtube.com/watch?v=j0z4FweCy4M&t=2900s[13]BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection
加入技術(shù)交流群
