返回
人工智能基礎設施
企業服務智能化
城市管理智能化
汽車出行智能化
個人生活智能化商研丨ICLR 2019論文解讀：隨機神經網絡結構搜索 (SNAS)
2019-01-29
近日，商湯科技研究院發表論文《隨機神經網絡結構搜索》(SNAS，Stochastic Neural Architecture Search)，已被深度學習會議ICLR(International Conference Of Learning Representation)錄用。
該論文提出了一種全新的經濟、高效且自動化程度高的神經網絡結構搜索(NAS)方法，受到深度學習學術領域的廣泛關注。
NAS是自動機器學習(AutoML)中的熱點問題之一，通過設計經濟高效的搜索方法，自動獲得泛化能力強、硬件友好的神經網絡結構，可以大量降低研發成本，解放研究員的創造力。
在經典的NAS方法中，逐層搭建神經網絡的過程被建模成一個強化學習(Reinforcement Learning)智能體馬爾可夫決策過程(MDP ,Markov Decision Process)。
商湯科技研究團隊通過深入分析NAS任務的MDP，回答了上述問題，并提出了一個更高效的方法——隨機神經網絡結構搜索，重新建模了NAS問題。與基于強化學習的方法(ENAS)相比，SNAS的搜索優化可微分，搜索效率更高。
與其他可微分的方法(DARTS)相比，SNAS直接優化NAS任務的目標函數，搜索結果偏差更小。此外，基于SNAS保持了隨機性(Stochasticity)的優勢，該論文進一步提出同時優化網絡損失函數的期望和網絡正向時延的期望，自動生成硬件友好的稀疏網絡。
此外，商湯科技去年于CVPR發表Oral論文《深度增強學習自動網絡結構設計》，提出了一種高效算法，通過強化學習來自動設計最優的網絡結構。隨著商湯科技通用基礎算法的發展，在將來，SNAS可以解決更多特定數據和特殊的硬件應用場景的神經網絡結構自動定制化需求。
