<source id="8ti10"></source>
  • <video id="8ti10"></video>
  • <source id="8ti10"></source>

        <u id="8ti10"><video id="8ti10"></video></u>
      1. 申請試用
        登錄
        核心技術
        以原創技術體系為根基,SenseCore商湯AI大裝置為核心基座,布局多領域、多方向前沿研究,
        快速打通AI在各個垂直場景中的應用,向行業賦能。

        CVPR 2023 Award Candidate | 自動駕駛通用算法框架UniAD

        2023-03-25

        1.png


        亮點速覽


        自動駕駛是一項高度復雜的技術,需要多個學科領域的知識和技能,包括傳感器技術、機器學習、路徑規劃等方面。自動駕駛還需要適應不同的道路規則和交通文化,與其他車輛和行人進行良好的交互,以實現高度可靠和安全的自動駕駛系統。



        面對這種復雜的場景,大部分自動駕駛相關的工作都聚焦在具體的某個模塊,關于框架性的研討則相對匱乏。自動駕駛通用算法框架——Unified Autonomous Driving(UniAD)首次將檢測、跟蹤、建圖、軌跡預測,占據柵格預測以及規劃整合到一個基于 Transformer 的端到端網絡框架下, 完美契合了 “多任務”和“高性能”的特點,可稱為自動駕駛中的技術突破。


        2.png


        通過上海人工智能實驗室青年研究員李弘揚、陳立的分析(上圖),相信大家有所了解,接下來給大家詳細闡述為什么UniAD會誕生。這必然會回到一個問題:為什么之前的模型沒有同時做到這么多的任務呢?這還要從自動駕駛的框架講起。


        3.png


        上圖所示為自動駕駛UniAD框架對比(a)模塊化(b)多任務模塊(c)端到端自動駕駛模塊。現有自動駕駛系統可大致歸為三類:


        1. 模塊化


        每個模型負責單獨的子任務,優勢在于易于調試迭代,但是解耦就會丟失最優性,各個模塊的優化目標并不是以駕駛為最終目標,并且每個模塊的誤差會傳遞到之后的模塊。



        2. 多任務模塊


        多任務范式利用一個共享的特征提取器來完成多個子任務,好處是節省計算成本,缺點在于不同任務之間可能會存在負面影響。



        3. 端到端(End-to-end,E2E)模塊


        端到端范式以最終的駕駛性能為目標,具體又可以細分為兩種范式:隱式的端到端和顯式的端到端。其中隱式端到端是以傳感器數據作為輸入,直接輸出規劃或者控制指令。這種范式的好處是較為簡潔,缺點是缺乏可解釋性,難以調式及迭代。顯式端到端則是將多個模塊囊括在端到端模型之中,每個模塊有各自的輸出,并且會將提取到的特征傳遞到下游任務。



        我們對目前顯式端到端自動駕駛工作進行了比較:


        4.png


        可以發現,大多數工作都關注了感知、決策和規劃三部分,但具體任務存在差異,且沒有框架融合所有的任務。那為什么會出現這種情況呢?一方面受限于對自動駕駛的認識,研究者們沒有對任務之間的關聯和構建方式研究清楚;另一方面受限于模型的最終效果,或許有人曾經嘗試過把全部任務融合,但是效果不佳。


        為了探討這一問題,UniAD首次將所有檢測、跟蹤、建圖、軌跡預測、占據柵格預測與規劃都包含進來,從實現方面解決了這一難點。另一方面,通過嚴格的消融實驗發現,在正確的融合方式下,所有的任務對最終的駕駛性能都有收益。至此,本自動駕駛項目為了解決實際問題而來。


        核心技術


        那為什么我們的模型可以解決不同任務的融合難的問題,從而實現多任務和高性能呢?讓我們開始揭曉我們自動駕駛技術的真身:


        整體而言,UniAD利用多組query實現了全棧Transformer的端到端模型。如圖所示,UniAD由2個感知模塊,2個預測模塊以及一個規劃模塊組成。其中感知和預測模塊是通過Transformer架構進行預測,每個模塊輸出的特征會傳遞到之后的模塊來輔助下游任務。



        5.png

        image.png


        技術效果展示


        UniADnuScenes數據集中的所有任務都達到了SOTA,尤其是預測和規劃部分,以下是部分技術效果:


        6.gif

        晴天直行



        UniAD可以感知左前方等待的黑色車輛,預測其未來軌跡(即將左轉駛入自車的車道),并立即減速以進行避讓,待黑色駛離后再恢復正常速度直行。


        7.gif

        晴天轉彎


        得益于UniAD的地圖分割模塊,其可以沿著分割得到的道路結構適時地轉彎。


        8.gif

        雨天直行


        在視野干擾較大的雨天環境中,UniAD也能感知到周圍車輛進行正常行駛。


        9.gif

        雨天轉彎


        在視野干擾較大且場景復雜的十字路口,UniAD能通過分割模塊生成十字路口的整體道路結構(如右側BEV圖中的綠色分割結果所示),并完成大幅度的左轉。


        10.gif

        夜晚直行


        在夜晚視野變暗的情況下,UniAD仍然能感知到前方以及右側的車輛(雙車道場景),確保自車行駛。


        11.gif

        夜晚轉彎


        在夜晚視野變暗的情況下,UniAD能感知到前車并完成先靜止,后左轉的規劃。


        未來展望


        總的來說,UniAD作為一項極具創新性的自動駕駛技術,具有很大的潛力和應用價值。盡管該技術目前仍處于發展初期,但其已經引起了人們的廣泛興趣和關注,未來的發展前景非常值得期待。



        希望UniAD能充分利用現在海量數據驅動的優勢,在未來實現高階的自動駕駛人工智能。



        <source id="8ti10"></source>
      2. <video id="8ti10"></video>
      3. <source id="8ti10"></source>

            <u id="8ti10"><video id="8ti10"></video></u>
          1. 动漫人物打扑克视频