ICLR 2021 Spotlight | 給權重共享一點自由度，通道搜索性能大幅度提升！

近年來，模型輕量化作為一種常用的模型加速方法，受到深度學習研究人員的青睞。作為一篇網絡通道數壓縮的文章，本文探討了固定權重共享的方式在模型壓縮中的利弊，并據此提出一種新的自由權重共享的解法。基于提出的權重共享策略，本文還提出了一種基于 FLOPs 的分組方法，以實現更優分組的目的。為了解決搜索空間過大的難題，本文提出了一種多階段通道數搜索的方法，以促使從“粗搜索”到“細搜索”的進化，進而實現高精度細粒度的模型通道數搜索。

本文主要介紹我們 ICLR 2021 接收的一篇文章： 

Locally Free Weight Sharing for Network Width Search。

Part 1 動機和背景

深度學習網絡結構可以容易的通過堆疊多層非線性層來實現。然而在現實應用中，我們還需要決定每層設計的網絡寬度，這個任務通常需要適配特定的網絡計算預算, 如 FLOPs, latency。因此，為了適應不同的預算成本，一個過度參數化的網絡結構往往需要通過被裁剪，以適應不同的任務需求。得益于近年來 NAS 技術的迅速發展，基于權重共享的超網絡 (supernet)的通道(channel) 搜索方法被廣泛應用。Supernet 作為一個網絡結構（i.e., 網絡寬度）性能的評估器，用于評估搜索空間中所有通道數配置(網絡寬度)的相對排序。此任務中搜索空間往往是巨大 (如10^25 for MobileNetV2)，因而準確評估不同通道數配置對于 supernet 而言是非常困難的。在網絡寬度搜索算法中，如何訓練 supernet 以及建立 supernet 與搜索空間中結構的對應關系，對于其是否能準確評估不同網絡寬度的相對排序十分重要。

在本篇論文中，我們提出了一種新的局部自由的權重共享方式，使搜索空間中的每個網絡寬度能擁有一定的自由度來自由的選擇與 supernet 網絡權重的對應關系。具體而言，對于每一個網絡結構，我們給一定程度的自由，使其能在一定范圍內自由的選取合適的 supernet 權重并與之對應，從而更準確的訓練 supernet 和搜索合適的網絡寬度。同時，為了減小搜索空間，我們提出了一種基于 FLOPs 的分組方法，使每一組通道都盡可能有相同的 FLOPs，從而排除了 supernet 訓練和網絡寬度選擇時的分組不公平造成的干擾。由于我們提出的局部自由的權重共享方式，搜索空間被一定程度放大。因此我們也提出了多階段搜索的方法，實現從“粗搜到細搜”的過程，以提高搜索的準確性。本論文搜索出的結構在 ImageNet (mobile setting) 下取得了 SOTA(state-of-the-art) 的結果。

Part 2 主要思路

局部自由的權重共享方式

為了建立 supernet 的權重與搜索空間中的結構的對應關系，傳統的網絡寬度搜索算法會采用固定的對應關系。例如，網絡中前 c 個 channel 對應寬度 c。

然而這種強約束也限制了supernet的性能。例如，小的寬度對應的supernet的權重永遠是大的寬度的一個子集，這種固定的對應關系將導致任意兩組不同的網絡寬度的權重共享程度達到最大。事實上，對于固定的對應關系，任意兩組不同網絡寬度的權重共享程度都是1。

因此，我們提出局部權重共享的策略。對于每一組網絡寬度，部分channel 采用固定的對應策略，對于剩余的channel給與其一定的自由度以選擇合適的對應關系。

Supernet優化和搜索方式

為了在提出的局部自由的權重共享方式中，找到合適的 supernet 與網絡寬度之間的對應關系，我們提出 采用每組網絡寬度對應的取得最佳 performance（如，最大 accuracy 和最小的 loss）的權重對應方式來構建其與 supernet 之間的聯系。

基于supernet的訓練過程：

相應的搜索過程：

基于FLOPs敏感度的通道數分組方法

為了減小搜索空間的大小，以往的方法往往采用均勻分組的策略，將每層所有的通道數均勻的分為固定的組數。然而，這種分組方法忽略了通道自身的信息，如 kernel 大小，特征圖分辨率等等。我們也注意到這些信息直接與 FLOPs 的構成相關，基于這個觀察，我們提出構建基于 FLOPs 敏感度的通道數分組方案，使得每個組內都能有相同的 FLOPs，從而能夠排除分組不同帶來的訓練和測試差異。

多階段搜索方法

為了搜索到高精度且細粒度的網絡結構，往往需要定義一個十分巨大的搜索空間。然而，從巨大的搜索空間中很難直接搜索到合適的網絡寬度。針對這個問題，我們提出多階段搜索來避免搜索空間過大的問題，同時保證搜索結果的細粒度。

Part 3 實驗結果

同時我們驗證了我們搜索結構在目標檢測任務上的遷移能力。

Ablation Study

1. channel選擇自由區間的作用

基于 CIFAR-10 數據集，我們對提出的局部權重共享策略進行了評估，如圖 2 所示。可見在隨著自由度的提高，supernet 的評估能力和最終搜索結構的精度將會相應提高。

2. 訓練和搜索時間影響的評估

由于我們提出的算法將會涉及到搜索 supernet 與網絡寬度對應關系的過程，因此我們的算法比固定的權重共享方式需要付出一定程度額外的計算代價。因此，我們研究在額外提供更多的訓練和搜索時間的情況下，是否會帶來額外的性能提升。

如表6所示，在給定的訓練和測試框架下，額外的訓練時間并不會提升 supernet 評估的準確性，而提高搜索時間也僅能微量提升搜索結果。

Part 4 總結

超網絡訓練和評估是網絡寬度搜索的重要議題。與當前方法采用固定的權重共享方法不同，我們的方法更注重于探索 supernet 與網絡寬度之間的對應關系。這種自由的對應方法的提出，能夠幫助探索 supernet 更好的訓練和表達方法。CafeNet 的姊妹篇工作 BCNet 目前也被 CVPR 2021 接受，其是從權重共享的公平性進行切入的，我們也會后續進行解讀與分享。

Part 5 作者介紹

論文一作蘇修，目前在悉尼大學攻讀博士，主要從事 AutoML 領域中模型壓縮和神經網絡結構搜索等方向的研究，在 CVPR、ICLR 上發表多篇 paper。

主頁：https://xiusu.github.io

論文二作游山為本文的通訊作者，目前在商湯科技擔任研究員，主要研究方向為自動化機器學習、模型輕量化以及在計算機視覺中的應用與落地，目前發表 20 余篇包括NeurIPS、ICLR、CVPR、KDD、AAAI、IJCAI 在內的國際頂會 paper，擔任多個  top-tier 會議或期刊審稿人。

主頁：http://shanyou92.github.io/

論文三作黃濤，目前在商湯科技擔任研究員，主要研究方向為自動機器學習、模型輕量化及其在計算機視覺中的應用，在 CVPR、ICLR 上發表過多篇 paper。

主頁：https://taohuang.info/

論文地址

https://arxiv.org/pdf/2102.05258.pdf