湯曉鷗縱論商湯AR：AI驅動發力已超3年，落地多個場景

商湯AR，AI驅動，已經落地多個場景。

商湯科技創始人、香港中文大學教授湯曉鷗在本次ISMAR 2019對外披露商湯最新AR研究進展與布局，他還進一步介紹了當前AR在各大領域遇到的挑戰，以及相應的解決辦法和核心技術。

在他看來，AR正當時：今天的AI技術已經能讓我們更好地理解這個現實世界，而AR技術可以將現實世界和虛擬世界無縫融合起來。

不僅僅只是他有這樣的感受。

當前蘋果、谷歌，都在重兵囤下AR生態開發，高通等基礎算力提供方，也認為5G正在加速新計算平臺的到來——且認為是AR。商湯也已經布局多年，湯教授說：近年來將AI和AR技術深度融合到產品的研發中，有效擴展了AR應用的想象空間。

那么，商湯到底是如何布局的？又有哪些核心技術與亮點？一起來看看~

  湯曉鷗縱論AR

湯教授演講以AI+AR: Magic in the AIR為主題展開。簡單開場之后，就直接切入了正題——AI如何+AR？

在他看來，AR是一種在現實生活場景中無縫整合虛擬物體或信息的技術。與傳統的文本、圖片和視頻相比，能夠更有效、直觀地提供信息。AI技術，能夠將現實世界的信號作為輸入，來實現場景感知、語音交互、圖像識別、人臉檢測、情感認知等任務，現在已經成熟。

再加上大數據、云計算和5G等技術的發展落地，就形成了基礎技術框架。AR正是這一基礎框架的應用，也是這些技術的直接落腳點。現在，伴隨著這些技術的成熟和落地，AR也開始進入我們的生活，從黑科技向日常應用轉變。

和之前大多數湯教授發言不同，這次演講才剛剛開始，他就祭出了自己鐘愛的電影《花樣年華》，直觀地展示了AR+AI帶來的“神奇魔法”，也引起現場一片驚呼。

接下來，AR化妝是湯教授在演講中提到的第一個場景。這一場景中，最核心的如何捕捉面部特征。他說，在人臉識別、3D人臉重建和人臉編輯等許多人臉應用中，這是至關重要的一步。

自然挑戰也有不少。比如沒有足夠的特征點、缺乏精確的數據、在遮擋、運動模糊等情況下很難預測等等。

對于這些挑戰，湯教授也都介紹了相應的解決思路：可以通過虹膜輪廓特征點和耳朵特征點，來補充特征點。至于缺乏數據以及遮擋、運動模糊等情況，可以用半監督框架、結構感知的去模糊網絡等方式來解決。

AR導航，這也是AR落地非常難的一個場景。湯教授提到傳統的導航方案，比如GPS以及WiFi、藍牙等雖然普及，但都存在各種各樣的缺點，比如誤差大于10米、室內無法用（GPS）；硬件成本貴、需要附加部署等（WiFi、藍牙）。

相比之下，視覺解決方案有不少優點，成本低，而且精度高，效果也比較直觀等等。但也有挑戰，比如很難應對缺乏視覺特征、環境變化的情況，以及需要繁重的計算等。

不過，這并沒有阻攔AR導航成為一種新風向。在基于學習的視覺特征、云端協作、同時定位與地圖構建（SLAM）等技術的基礎上，稀疏地圖重建、密集地圖重建和視覺定位等相關應用愈發成熟。

然后是AR數字人，這也是近年來最為熱門的AR應用之一。簡單來說，AR數字人就是利用AI技術來驅動數字智能體說話與行動。

但想要讓它變得實用，還有不少挑戰，比如音頻到3D映射非常困難、如何保持連貫性等等。湯教授同樣也給出了相應的思路，采用跨模態機器學習、連續的時間序列建模等方法，能夠比較好的解決這些問題。商湯也已經交付了相應的解決方案——SenseAR Avatar。

湯教授介紹，借助弱監督學習、基于視圖合成的幾何感知表示、基于圖像的排序預測等技術，可以有效地完成動作捕捉、3D動作恢復以及動作傳遞。

接下來是AR游戲，背后的關鍵技術也是同時定位與地圖構建（SLAM）。

與當前大多數AR游戲不同，商湯發力的是移動端上的多人AR游戲，這也帶來了新的挑戰——怎么讓多個用戶都能參與進來。湯教授表示，想要實現這一點并不容易。不僅要在充滿挑戰性的環境中保持穩定，還要考慮到大規模場景中移動設備的性能。

作為AR中的關鍵技術，商湯在SLAM上也投入了大量的資源，而且與當前的傳統方案相比，不僅效率更高，而且也更加穩定。他也給出了相應的數據，在支撐多人AR游戲的時候，定位時間少于1秒。

湯教授談到的最后一個場景，是AR尺子&AR家居。這也是SLAM技術應用落地的重要方向，但這個方向對精度的要求極高。湯教授提到商湯的RGBD-SLAM技術能夠在計算資源有限的情況下，支持長距離測量，而且平均測量誤差為2.60%。

在AR家居場景中，借助RGB攝像頭與IMU的緊密耦合，將分級誤差控制在3%，并且能夠進行穩定追蹤。雖然這些場景，已經覆蓋了大家生活中的許多方面。但這些并不是僅僅只是“Magic in the AIR”的開端，在他看來，AI+AR還有更多的可能性。

可以設想一下，物理世界大規模3D數字化、人類行為數字化之后，會發生什么？

  商湯發力AR已三年，邊界正擴張

湯教授今天所展現的，并不僅僅只是學術研究，而是商湯實踐多年的經驗總結。2016年，AR游戲Pokemon GO風靡全球，進一步引爆AR應用潮流。在這一年，商湯就已經開始發力AR，將AI技術應用到AR產品的研究和開發之中，打造出了SenseAR特效引擎。具體的發展思路和當初發力AI技術一樣，也是“產學研”相結合。

一方面，與浙江大學共建“浙江大學-商湯三維視覺聯合實驗室”，重點研究SLAM和三維重建等方向，另一方面推動學術和產業界共同成立了“中國增強現實核心技術產業聯盟”。

與此同時，相應AR產品也陸續問世。2018年，商湯AI峰會上SenseAR特效引擎和SenseAR開發者平臺率先登場，迎來新一輪能力升級。之后，商湯眾多AR應用也相繼落地，比如AR美顏、AR貼紙特效等等，開始被業內各大公司采用，比如OPPO等。

今年5月15日，2019年商湯AI峰會舉辦。AR領域壓軸出場，對SenseAR 特效引擎和SenseAR平臺都進行了大幅度升級。尤其是后者，增加了SenseAR Glass眼鏡平臺、SenseAR Cloud云平臺等功能。在打破云端界限、結合虛擬與現實世界、完成空間內的多人共享、 虛擬信息持久化等方面向前邁出了一大步。

此外，還有SenseAR Avatar，這是當前市場上首個可以實現照片生成和真人驅動的AR產品，能夠利用3D渲染對用戶面部進行重建，從而建立一個實時的虛擬形象。

從技術、應用、平臺等各個方面來看，商湯的AR已然形成相應規模，已經與谷歌和蘋果一起，成為市場上主要的AR平臺供應商之一。而在本次ISMAR 2019大會上，商湯方面并不只是僅僅有湯教授演講，還展示了一系列創新的AR應用。

活動中，商湯帶來了可實現室內外定位和AR導航的“SenseAR高精定位和內容增強解決方案”。并贊助了專為AR應用設計的SLAM競賽，基于商湯科技與浙江大學聯合發布的測試數據集，來全面地評估SLAM系統在AR應用下的性能。從整體上來看，這不僅僅是商湯AR的進一步展示，也是其加碼AR領域的決心顯現。

在湯老師演講的最后，他也給出了對AR未來的展望。AI+AR的未來，就是要實現數字世界和物理世界的無縫融合，能夠更聰明、更深入地了解人們生活和工作的方方面面。這個時候，Magic in the AIR也必然到來。但到了這個時候，這也就不是Magic in the AIR，而是Oxygen in the AIR了。

你覺得呢？