自動駕駛行業觀察 | 自動駕駛汽車如何「看到」紅綠燈？

來源丨https://zhuanlan.zhihu.com/p/200924181編輯丨自動駕駛干貨鋪 紅綠燈識別是實現城區自動駕駛能力最為關鍵的一環，現實世界的紅綠燈的位置、朝向并無規律可言，想在圖像中找到隨機懸掛在路口的紅綠燈卻并不是一件容易的事情。那么紅綠燈識別究竟有哪些難點，我們又有哪些技術方案能夠實現紅綠燈檢測呢？紅綠燈識別的技術難點 小物體檢測紅綠燈檢測屬于小物體檢測問題，在一副圖像上所占的像素比極小，并且不同于車輛，行人的檢測，紅綠燈所能提取的特征有限，基本上是顏色特征，這個對設計神經網絡的特征提取提出極大的挑戰。還需從其它角度考慮，如紅綠燈的位置始終在高處，紅綠燈的時序信息等去判斷。另外對于相機的選型也有要求，選擇FOV（field Of View，視野）小的，聚焦功能好，所檢測的距離遠，但視野范圍小；選擇FOV大的，視野范圍大，但檢測距離近，所以可能會配合兩個甚至多個不同FOV大小的相機來檢測紅綠燈，這又會涉及到多個相機融合的難點問題。 紅綠燈實時變化雖然跟交通標志牌類似，都屬于靜態物體檢測，但紅綠燈的狀態是實時發生變化的，這提升了檢測的難度。此外，在不同光照條件下，紅燈和黃燈的相似度很接近，甚至人眼都難以區分，只能根據燈的位置信息來區分。另外，不同地區的紅綠燈設計方式，展現形式不一樣，如天津地區的條形展現形式，這就對紅綠燈的數據采集提出更多的挑戰，要覆蓋更多場景，增加了采集成本，同時對檢測網絡提出了更高的要求，具備更強的泛化性。

天津條形紅綠燈 紅綠燈倒計時紅綠燈還會有倒計時的問題，在檢測到紅綠燈狀態的同時，對數字的倒計時同樣需要進行檢測。此外同一個交叉路口，存在多個不同狀態下的紅綠燈，對這么多類型的紅綠燈檢測，就算是人可能也沒辦法區分清楚，需要配合一定的經驗。而對于機器來說，它需要的是短時間能做出判斷，難度極大。 紅綠燈漏檢與誤檢僅憑感知層面的紅綠燈檢測是遠遠不夠的，容易誤檢、漏檢，這對決策規劃層有極大的影響，紅燈識別成綠燈，繼續往前行駛，想想都是很危險的。所以紅綠燈識別還要需要結合高精度地圖，以及V2x技術來解決，一方面高精度地圖提供當前的車所在的車道信息和距離紅綠燈的遠近信息，V2x技術可以感知車輛紅綠燈的狀態信息，再配合感知檢測的備份冗余，才能準確的實現紅綠燈的檢測問題。

通過感知去識別紅綠燈，有一種舍身取義的感覺，效果一般，適應性差，條件允許的話(如固定園區限定場景)，能裝V2X就裝V2X，多個備份冗余，V2X > 高精度地圖 > 感知識別。若碰上GPS信號弱的時候，感知識別可以出場了，大部分情況，V2X足以覆蓋掉大部分的場景。感知方案的具體實現參照文章，主要為紅綠燈數據集采集，標簽處理，檢測模型訓練，算法部署，追蹤后端優化，接口開發；

可以看出，在我們日常生活中不起眼但是在城市道路不可或缺的紅綠燈，要達到量產級別的檢測識別，難度是相當大的，涉及到不同地區的場景，光照條件的影響，多種技術(高精度地圖/V2x/感知)的融合多相機的融合等，難度遠遠超過車輛行人的檢測，所以紅綠燈問題難度大，棘手，又是在復雜城區智能駕駛不可回避的一個問題。通過單車智能的方式去感知紅綠燈難度太大，而且不能保證100%的識別成功率，紅綠燈的誤識別后果影響很嚴重，所以智能交通基礎設施建設需要及時跟上，包括紅綠燈的智能化、動態道路分配、智能路網設計等；這就需要得到城市政府部門的支持，能夠獲得城市路網的檢測數據，同時對獲得到數據的分析能力，高頻次的流動車的數據，位置信息，需要極佳的信號燈控制算法及產品才能把優勢發揮出來。

本文僅做學術分享，如有侵權，請聯系刪文。