自動(dòng)駕駛行業(yè)觀察 | 自動(dòng)駕駛汽車(chē)如何「看到」紅綠燈？

來(lái)源丨h(huán)ttps://zhuanlan.zhihu.com/p/200924181編輯丨自動(dòng)駕駛干貨鋪 紅綠燈識(shí)別是實(shí)現(xiàn)城區(qū)自動(dòng)駕駛能力最為關(guān)鍵的一環(huán)，現(xiàn)實(shí)世界的紅綠燈的位置、朝向并無(wú)規(guī)律可言，想在圖像中找到隨機(jī)懸掛在路口的紅綠燈卻并不是一件容易的事情。那么紅綠燈識(shí)別究竟有哪些難點(diǎn)，我們又有哪些技術(shù)方案能夠?qū)崿F(xiàn)紅綠燈檢測(cè)呢？紅綠燈識(shí)別的技術(shù)難點(diǎn) 小物體檢測(cè)紅綠燈檢測(cè)屬于小物體檢測(cè)問(wèn)題，在一副圖像上所占的像素比極小，并且不同于車(chē)輛，行人的檢測(cè)，紅綠燈所能提取的特征有限，基本上是顏色特征，這個(gè)對(duì)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的特征提取提出極大的挑戰(zhàn)。還需從其它角度考慮，如紅綠燈的位置始終在高處，紅綠燈的時(shí)序信息等去判斷。另外對(duì)于相機(jī)的選型也有要求，選擇FOV（field Of View，視野）小的，聚焦功能好，所檢測(cè)的距離遠(yuǎn)，但視野范圍??；選擇FOV大的，視野范圍大，但檢測(cè)距離近，所以可能會(huì)配合兩個(gè)甚至多個(gè)不同F(xiàn)OV大小的相機(jī)來(lái)檢測(cè)紅綠燈，這又會(huì)涉及到多個(gè)相機(jī)融合的難點(diǎn)問(wèn)題。 紅綠燈實(shí)時(shí)變化雖然跟交通標(biāo)志牌類(lèi)似，都屬于靜態(tài)物體檢測(cè)，但紅綠燈的狀態(tài)是實(shí)時(shí)發(fā)生變化的，這提升了檢測(cè)的難度。此外，在不同光照條件下，紅燈和黃燈的相似度很接近，甚至人眼都難以區(qū)分，只能根據(jù)燈的位置信息來(lái)區(qū)分。另外，不同地區(qū)的紅綠燈設(shè)計(jì)方式，展現(xiàn)形式不一樣，如天津地區(qū)的條形展現(xiàn)形式，這就對(duì)紅綠燈的數(shù)據(jù)采集提出更多的挑戰(zhàn)，要覆蓋更多場(chǎng)景，增加了采集成本，同時(shí)對(duì)檢測(cè)網(wǎng)絡(luò)提出了更高的要求，具備更強(qiáng)的泛化性。

天津條形紅綠燈 紅綠燈倒計(jì)時(shí)紅綠燈還會(huì)有倒計(jì)時(shí)的問(wèn)題，在檢測(cè)到紅綠燈狀態(tài)的同時(shí)，對(duì)數(shù)字的倒計(jì)時(shí)同樣需要進(jìn)行檢測(cè)。此外同一個(gè)交叉路口，存在多個(gè)不同狀態(tài)下的紅綠燈，對(duì)這么多類(lèi)型的紅綠燈檢測(cè)，就算是人可能也沒(méi)辦法區(qū)分清楚，需要配合一定的經(jīng)驗(yàn)。而對(duì)于機(jī)器來(lái)說(shuō)，它需要的是短時(shí)間能做出判斷，難度極大。 紅綠燈漏檢與誤檢僅憑感知層面的紅綠燈檢測(cè)是遠(yuǎn)遠(yuǎn)不夠的，容易誤檢、漏檢，這對(duì)決策規(guī)劃層有極大的影響，紅燈識(shí)別成綠燈，繼續(xù)往前行駛，想想都是很危險(xiǎn)的。所以紅綠燈識(shí)別還要需要結(jié)合高精度地圖，以及V2x技術(shù)來(lái)解決，一方面高精度地圖提供當(dāng)前的車(chē)所在的車(chē)道信息和距離紅綠燈的遠(yuǎn)近信息，V2x技術(shù)可以感知車(chē)輛紅綠燈的狀態(tài)信息，再配合感知檢測(cè)的備份冗余，才能準(zhǔn)確的實(shí)現(xiàn)紅綠燈的檢測(cè)問(wèn)題。

通過(guò)感知去識(shí)別紅綠燈，有一種舍身取義的感覺(jué)，效果一般，適應(yīng)性差，條件允許的話(如固定園區(qū)限定場(chǎng)景)，能裝V2X就裝V2X，多個(gè)備份冗余，V2X > 高精度地圖 > 感知識(shí)別。若碰上GPS信號(hào)弱的時(shí)候，感知識(shí)別可以出場(chǎng)了，大部分情況，V2X足以覆蓋掉大部分的場(chǎng)景。感知方案的具體實(shí)現(xiàn)參照文章，主要為紅綠燈數(shù)據(jù)集采集，標(biāo)簽處理，檢測(cè)模型訓(xùn)練，算法部署，追蹤后端優(yōu)化，接口開(kāi)發(fā)；

可以看出，在我們?nèi)粘Ｉ钪胁黄鹧鄣窃诔鞘械缆凡豢苫蛉钡募t綠燈，要達(dá)到量產(chǎn)級(jí)別的檢測(cè)識(shí)別，難度是相當(dāng)大的，涉及到不同地區(qū)的場(chǎng)景，光照條件的影響，多種技術(shù)(高精度地圖/V2x/感知)的融合多相機(jī)的融合等，難度遠(yuǎn)遠(yuǎn)超過(guò)車(chē)輛行人的檢測(cè)，所以紅綠燈問(wèn)題難度大，棘手，又是在復(fù)雜城區(qū)智能駕駛不可回避的一個(gè)問(wèn)題。通過(guò)單車(chē)智能的方式去感知紅綠燈難度太大，而且不能保證100%的識(shí)別成功率，紅綠燈的誤識(shí)別后果影響很?chē)?yán)重，所以智能交通基礎(chǔ)設(shè)施建設(shè)需要及時(shí)跟上，包括紅綠燈的智能化、動(dòng)態(tài)道路分配、智能路網(wǎng)設(shè)計(jì)等；這就需要得到城市政府部門(mén)的支持，能夠獲得城市路網(wǎng)的檢測(cè)數(shù)據(jù)，同時(shí)對(duì)獲得到數(shù)據(jù)的分析能力，高頻次的流動(dòng)車(chē)的數(shù)據(jù)，位置信息，需要極佳的信號(hào)燈控制算法及產(chǎn)品才能把優(yōu)勢(shì)發(fā)揮出來(lái)。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。