ICLR 2023 Oral | 探索網絡結構和域泛化能力的關系

域泛化是指在一個新的、未知的領域或環境中，一個模型可以在沒有特定的領域或環境知識的情況下進行有效的預測。

域泛化在現實生活中具有很高的應用價值。例如，在醫療診斷中，由于醫療數據難以獲取，模型必須在不同的醫院、城市或國家之間進行泛化，以便有效地進行診斷；在自動駕駛汽車領域，模型必須能夠在各種天氣、路況和道路類型等不同環境下泛化，以實現可靠的自動駕駛。

因此，域泛化是一個重要的研究方向，可以使機器學習模型在更廣泛的實際應用場景中實現更好的性能。

目前，域泛化方法主要可以分為以下幾類：

• 基于數據增強的方法：該方法通過對訓練數據進行不同的增強操作，如旋轉、平移、縮放等，增加訓練數據的多樣性，以提高模型的泛化能力
• 基于特征對齊的方法：該方法通過對源域和目標域的特征進行對齊，減小不同域之間的分布差異，以提高模型的泛化能力
• 基于元學習的方法：該方法通過在訓練過程中學習如何快速適應新的領域，以提高模型的泛化能力
• 基于集成學習的方法：該方法通過組合多個不同的模型或訓練過程，提高模型的泛化能力

以上所提到的方法各有優劣，其中主要的缺陷包括：

• 基于數據增強的方法可能會導致過擬合，因為增強操作可能會使模型過度關注一些特定的特征
• 基于特征對齊的方法需要對源域和目標域的數據進行對齊，但在實際應用中，源域和目標域之間的分布差異可能非常大，導致對齊效果不佳
• 基于元學習的方法需要大量的元訓練數據，并且可能會導致過擬合，因為元學習的目標是在訓練過程中快速適應新的領域，而不是在整個訓練集上獲得最佳性能
• 基于集成學習的方法需要組合多個模型或訓練過程，這可能會導致計算成本較高，并且可能需要更多的訓練數據來訓練多個模型

在認識到現在的預適應方法所存在的問題后，我們認為有必要從一個新的角度去思考如何更好地解決這個問題。

最近出現的Vision Transformers在視覺領域的各個任務中逐漸代替了CNN，成為被廣泛采用的網絡結構。因此，我們認為網絡結構和泛化性之間可能存在著密不可分的聯系。

在機器學習中，歸納偏置是指在模型選擇和學習算法中使用的先驗知識和假設，它們可以幫助模型從數據中學習有用的模式，而不僅是記住特定的訓練實例。一個好的歸納偏置可以幫助模型更快地收斂，更準確地泛化到新數據，以及更好地抵抗過擬合。

不同的網絡結構可以提供不同的歸納偏置、不同的能力來表示數據的特征。例如，卷積神經網絡（CNN）在圖像領域的應用中表現出色，是因為CNN結構天生適合處理圖像中的局部性和平移不變性。類似地，循環神經網絡（RNN）適合處理序列數據，因為它們具有自然的時間歸納偏置。

目前已經有一些相關工作提出了理論工具[1,2]，用于分析神經網絡結構在解決不同問題時的能力強弱。然而，目前這些分析仍然存在于In-distribution learning problem 中，而我們的問題則更關注于Out-of-distribution learning problem。因此，我們對[1]中提出的algorithmic alignment在DG問題上進行了延伸分析。

GMoE的泛化能力來自于其內部骨干網絡結構，這與現有的DG算法是正交的。這意味著SOTA DG算法可以應用于改進GMoE的性能。

我們同樣在限定了基礎模型結構的IID性能（ViT-S/16和ResNet-50 V2）基礎上，比較這兩個模型的DG性能。以下是對比結果，可以看到 ViT-S/16在略輸ResNet-50 V2的情況下，仍然在DG任務上取得了更好的性能。

以下是GMoE的Expert Selection可視化結果。圖像來自于CUB-DG中自然領域的不同類別。圖中不同顏色的線連接不同圖像上的同一類別鳥類的視覺屬性（Visual Attributes）。同一視覺屬性由同一Expert處理，例如嘴和尾巴由Expert 3處理，左/右腿由Expert 4處理。