ECCV 2022 Oral | OpenLane：超大規模真實場景3D車道線檢測任務

自動駕駛行業蓬勃發展，而其中的輔助駕駛系統 (ADAS) 或者L2到L4的駕駛場景都需要提供一些車道線檢測功能如Automated Lane Centering (ALC)和 Lane Departure Warning (LDW)。這其中的核心模塊就是一個魯棒的，泛化性能好的車道線檢測器。而隨著深度學習的不斷演進，2D車道線檢測已經有了較為成熟的做法。但是2D車道線其實是無法滿足工業界的真正需求，主要體現在兩點。

1. 下游的規控模塊需要車道線檢測發生在鳥瞰圖視角（BEV），而僅作簡單的前視圖到鳥瞰圖的投影會極大依賴于相機參數，而這在實際場景中是很難獲取到準確的真值。

2. 車道線的高度信息在投影過程中占有很重要的地位，尤其是在上下坡場景中，高度信息會極大地影響投影質量，而之前的投影做法是在水平路面的假設上進行的。而目前市面上缺少一個帶高度信息的車道線數據集。

如圖所示是直觀的介紹從(a)Perspective View到(b)中Bird Eye View做車道線檢測的動機：在平面假設下，車道將在投影BEV中分叉/匯聚，考慮到高度的3D解決方案可以準確預測這種情況下的平行拓撲結構。而(c)在特征層面用PersFormer做投影，能較好地增強投影特征，進而解決BEV下檢測不準的問題。

如圖是整個PersFormer流水線：其核心是學習從前視圖到BEV空間的空間特征轉換，關注參考點周圍的局部環境，在目標點（target point）生成的BEV特征將更具代表性；PersFormer由自注意模塊組成，用于與本身BEV查詢進行交互；交叉注意模塊從基于IPM的前視圖特征中獲取key-value對，生成細粒度BEV特征。

PersFormer整體pipeline

這里主干網將resized圖像作為輸入，并生成多尺度前視圖特征。主干網采用了流行的ResNet變型，這些特征可能會受到尺度變化、遮擋等缺陷的影響，這些缺陷來自前視圖空間中固有的特征提取。最后，車道檢測頭負責預測2D和3D坐標以及車道類型。2D/3D檢測頭被稱為LaneATT和3D LaneNet，其中對結構和錨點設計進行了一些修改。

交叉注意力機制示意圖

進一步的目標是統一2-D車道檢測和3-D車道檢測任務，采用多任務學習（multi-task learning）進行優化。一方面，透視圖中，2D車道檢測仍然作為大家的興趣；另一方面，統一2D和3D任務自然是可行的，因為預測3D輸出的BEV特征來自2D分支中的對應項。

如圖是在2D和3D中統一錨點設計：首先在BEV空間（左）放置策劃的錨點（紅色），然后將其投影到前視圖（右）。偏移量xik和uik（虛線）預測真值（黃色和綠色）到錨點的匹配。這樣就建立了對應關系，并一起優化了特征。

統一2D和3D錨點設計示意圖

OpenLane包含20萬幀、超過88萬條實例級車道、14個車道類別（單白色虛線、雙黃色實體、左/右路邊等），以及場景標簽和路線鄰近目標（CIPO）注釋，以鼓勵開發3D車道檢測和更多與產業相關的自動駕駛方法。

如表是OpenLane和其他基準線的比較：

OpenLane與現有基準的比較

“Avg. Length”表示分段的平均持續時間；

“Inst.Anno.”指示車道是否按實例注釋（按c.f.語義注釋）；

“Track. Anno.”表示車道是否具有唯一的跟蹤ID；

“#Frames”中的數字分別是總幀中帶注釋的幀數；

“Line Category”表示車道種類；

“Scenario”表示場景標簽。

? 車道形狀：每個2D/3D車道顯示為一組2D/3D點

? 車道類別：每條車道都有一個類別，例如雙黃線或路緣

? 車道屬性：某些車道具有右、左等屬性

? 車道跟蹤ID：除路緣外，每條車道都有唯一的ID

? 停車線和路緣

（有關更多注釋標準，請參考車道Anno標準）

? 二維邊界框：其類別表示對象的重要性級別

? 場景標記：它描述了在哪個場景中收集此幀

? 天氣標簽：它描述了在什么天氣下收集此幀

? 小時標記：它注釋了收集此幀的時間

OpenLane標注樣例

OpenLane樣例概覽，涵蓋夜晚、日光、彎道等多種場景

我們在小規模仿真3D車道線數據集Apollo和大規模真實場景3D車道線數據集OpenLane分別做了實驗，均達到SOTA水平。

Apollo實驗結果

OpenLane實驗結果

消融實驗對比