大模型來了，自動駕駛還遠嗎？關鍵看“眼睛”（3）

感知技術的挑戰與發展趨勢近年來目標檢測算法飛速發展，精度獲得了極大提升，但仍然面對諸多挑戰，包括長尾問題、如何應對極端天氣等。長尾問題感知任務是典型的長尾問題，這已成為業界共識。如何挖掘長尾問題案例，并持續提升技術能力是感知領域關注的重點。近年來業界廣泛認同通過數據閉環的方式來解決長尾問題。基于學習的方法依賴數據的輸入，而現實世界復雜多變，很難窮舉出所有場景，這就依賴高效的數據閉環體系，有效挖掘長尾場景，積累足夠的高價值場景數據，并能夠快速完成模型的迭代更新，圖14展示了一種非常極端的場景，即帶著錐桶移動的貨車。圖 14：帶錐桶移動的車極端天氣的挑戰自動駕駛感知遇到的另一大挑戰是極端天氣。無人車要想不間斷運營，不可避免會遇到雨、雪、霧等極端天氣，而極端天氣會對傳感器數據造成極大影響，從而影響感知的準確性，甚至造成自動駕駛不可用。感知必須解決極端天氣帶來的挑戰，從而實現全天候運行能力。夜間大雨天可能會造成攝像頭成像模糊，如圖15所示，此時從圖像獲得穩定感知結果異常困難。而激光雷達在極端天氣下容易產生大量噪聲，如圖16所示，此時如何避免漏檢和誤檢變得異常棘手。圖15：大雨天造成攝像頭夜間成像模糊圖16：大雪天激光雷達產生大量噪聲感知技術的兩****展方向從近年來業界的發展來看，感知技術的演進主要朝著兩個方向發展。一方面是以搭建高效的數據閉環體系為主，解決長尾問題，通過云端大模型、大數據實現高效數據挖掘與模型迭代。另一方面不斷發展車端模型架構，用更復雜的模型架構來提升感知精度，這一方面隨著Transfomer架構所展現出來的強大能力，以基于Transformer的BEV融合感知為代表，涌現出了不少優秀的工作。馭勢感知技術實踐多模態融合感知在多模態融合感知方面，我們自研了圖像、點云融合網絡。圖17給出了網絡的示意圖。我們以長時序點云和圖像數據作為輸入，分別利用2D和3D特征提取網絡對應模態的特征，并在特征級進行融合。網絡首先會在點云和圖像特征上分別預測2D和3D目標位置及分類信息，最后通過將點云投影到圖像上進行位置關聯、深度搜索以及3D位置修正等方法，最終輸出融合的3D目標。該融合網絡的特點是輕量，可在嵌入式平臺達到實時性能。我們充分利用了大規模的預訓練模型來提升圖像分支的能力。多模態融合感知網絡往往需要同步的點云、圖像數據，而此類數據往往比較稀缺，對數據同步精度要求較高，聯合標注也更加昂貴，周期更長。自研網絡在此方面顯示出了非常高的靈活性。在量化評估中發現，該融合策略對感知距離和分類精度較純點云網絡提升非常明顯，并且在雨天等極端天氣場景下有非常強的魯棒性，圖18中展示了我們利用該網絡在低線束雷達配置下實現了140+米的穩定感知。圖17：馭勢自研融合感知網絡架構圖 18：融合感知網絡利用低線束雷達和攝像頭實現140米處的目標檢測視覺BEV感知在BEV感知方面，我們自研了基于多相機的純視覺BEV感知網絡，其架構如圖19所示。我們的框架以長時序、多視角相機捕捉到的圖片為輸入。時序多幀、多視角的圖片會由圖像基礎網絡，例如ResNet生成多尺度的特征。整個框架是基于query查詢向量，經由Transformer網絡完成特征收集。query向量會經過self-attention和cross-attention來更新特征，經過多層****后，更新后的query會被用來預測最終的3D目標類別、位置、大小、旋轉以及速度信息。我們設計了時空對齊且計算稀疏的cross-attention模塊，使得我們的網絡取得先進精度的同時又具備實時性的工業部署潛力。該模型在nuScenes視覺3D目標檢測排行榜中取得第三名的成績（2022），圖20和圖21分別展示了該網絡在Nuscenes數據集的評估結果及其可視化結果。圖 19：網絡架構示意圖圖20：馭勢BEV感知網絡在Nuscenes測試集的評估結果圖21：馭勢自研BEV網絡在Nuscenes數據集預測結果全景分割以往基于點云的實例分割任務主要分為proposal-base和proposal-free方法。proposal-based方法依賴于目標檢測器的性能，而proposal-free的方法因為采用啟發式的聚類方法，耗時比較高。因此，我們提出了一種新穎的Panoptic-PHNet點云全景分割網絡，該網絡預測實例的中心點，而無需object-level任務的學習，其網絡架構如圖22所示。該工作在nuScenes的全景分割挑戰賽取得第一名的成績，論文入選CVPR 2022。在取得高精度的同時，該網絡推理速度達到數十FPS，滿足了實時性的要求，圖23給出了該網絡與其他公開方法的對比結果。圖22：Panoptic-PHNet網絡架構圖23：馭勢全景分割網絡和公開方法精度對比結果