CVPR 2021 | BasicVSR: 視頻超分辨率中的基本組成部分及其探索

在 CVPR 2021, 南洋理工大學 S-Lab、CUHK-SenseTime 聯合實驗室、中科院深圳先進技術研究院等對視頻超分辨率的現有研究作出分析, 并重新考慮視頻超分中最重要的組成部分, 以尋找一個通用有效的視頻超分網絡。在這項研究中，本文提出一個簡單而有效的網絡: BasicVSR。與現有算法比較，BasicVSR 在速度和復原質量方面均有顯著的改進。另外, 通過兩個新穎的部件 (information-refill, coupled propagation)，進一步展示了 BasicVSR 的通用性和可擴展性。BasicVSR 及其改進版本 IconVSR 可以作為未來視頻超分方法的強大 baseline。此外，BasicVSR 可以推廣到各種視頻還原任務。最近，我們擴展了 BasicVSR 并參與了 NTIRE 2021 視頻復原比賽，該模型在視頻超分辨率和壓縮視頻增強挑戰中獲得了兩個冠軍。BasicVSR 和 IconVSR 的代碼和模型已發布到MMEditing。

論文題目：BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

Part 1 概括

與圖像超分辨率相比，視頻超分辨率(VSR)帶來了一個額外的挑戰，因為它涉及從視頻序列中多個高度相關但未對齊的幀中聚集信息。現今已經有不同方法[1,2,3]來應對這一挑戰，但是VSR方法復雜和不相容的設計給實施和擴展現有方法帶來了困難，從而阻礙了未來的發展。因此，我們有必要重新考慮VSR模型的多樣化設計，以為VSR尋找更通用，有效和易于實現的基線。

在這項工作中，我們首先將流行的VSR方法分解。我們觀察到，大多數現有方法需要四個相互關聯的組成部分，即傳播，對齊，聚合和上采樣。根據我們的分析，我們提出了BasicVSR，并證明只需對現有選件進行最小程度的重新設計，就可以得到一個強大而有效的基線。此外，通過information-refill mechanism和coupled-propagation來，我們進一步展示了BasicVSR的可擴展性。

BasicVSR及其擴展IconVSR可以作為將來VSR方法的牢固基線。請參見下圖進行比較。值得注意的是，BasicVSR可以推廣到各種視頻還原任務。我們最近擴展了BasicVSR，并參與了NTIRE2021視頻挑戰。我們的模型在視頻超分辨率和壓縮視頻增強挑戰中獲得了兩個冠軍。為了促進未來的發展，我們發布了代碼和模型 MMEditing. 

Part 2 VSR方法的分析

通過我們的研究，我們得出結論，常見的VSR管道可以分解為四個部分：傳播，對齊，聚合和上采樣。下圖顯示了一些代表性方法的分解。

我們看到，許多現有方法將聚合的特征拼接起來，并采用pixel-shuffle進行上采樣，它們主要在傳播和對齊方式上有所不同。在這項工作中，我們將注意力集中在傳播和對齊分析上。

傳播: 傳播可以大致分為三類：局部，單向和雙向。為了了解它們的差異和貢獻，我們進行了實驗并觀察了性能。 

我們證實采用全局傳播的重要性。我們從（在時間維度上）全局感受野開始，然后逐漸減小感受野。我們將測試序列分為K個部分，并使用BasicVSR獨立還原每個部分。如下圖所示，當K減少時，PSNR的差異（對于K = 1的情況）減小。這表明遠距離幀中的信息有利于恢復，因此不應忽略。此外，可以觀察到，在每個段的兩端，PSNR的差異最大，這表明需要采用長序列來積累長期信息。

然后，我們比較單向和雙向傳播。我們將BasicVSR（使用雙向傳播）與其單向變體進行了比較。從下圖可以看出，單向模型在早期獲得的PSNR明顯低于雙向傳播，隨著幀數量的增加，更多信息的聚集使差異逐漸減小。而且，僅采用部分信息，我們可以觀察到穩定的性能下降。這些觀察結果揭示了單向傳播的次不足，而雙向傳播可以更有效利用視頻中的信息，從而提高輸出質量。

對齊: 現有的循環網絡[4,5]通常在傳播過程中不執行對齊。不對齊的特征/圖像會阻止聚合，并最終導致性能下降。這種次優性可以通過我們的實驗得到反映，我們在BasicVSR中刪除了對齊模塊。

如果沒有正確對齊，傳播的特征將不會與輸入圖像在空間上對齊。結果，諸如卷積之類的局部運算未能有效地在對應的位置聚集信息。我們觀察到PSNR下降了1.19 dB。該結果表明，采用具有足夠大的感受野以聚集來自遙遠空間位置的信息的操作是非常重要的。

BasicVSR

從以上研究中，我們看到選擇合適的組件設計的重要性。基于此，我們提出了BasicVSR，它包含了上述設計。在BasicVSR中，我們僅采用通用組件。這種簡單性使BasicVSR可以用作強大而又易于擴展的基線。BasicVSR采用雙向傳播來充分利用視頻序列中的信息，并使用光流進行特征對齊。然后，使用殘差塊對對齊的特征進行匯總，并通過pixel-shuffle對其進行上采樣。

從BasicVSR到IconVSR

我們以BasicVSR為骨干，介紹了兩個新穎的組件：Information-refill和coupled propagation(IconVSR)，以減輕傳播過程中的誤差累積，并促進信息聚合。

Information-Refill: 遮擋區域和圖像邊界上的不正確對齊是一個嚴峻的挑戰，可能導致誤差累積，尤其是如果我們在框架中采用長期傳播的話。為了減輕這種錯誤特征帶來的不良影響，我們提出了一種信息補充機制，用于特征優化。附加的特征提取器用于從輸入幀（關鍵幀）及其各自的鄰域的子集中提取深層特征。然后通過卷積將提取的特征與對齊的特征融合。

Coupled Propagation: 在雙向設置中，特征通常在兩個相反的方向上獨立傳播。在這種設計中，每個傳播分支中的特征都是根據部分信息（來自先前的幀或將來的幀）來計算的。為了利用序列中的信息，我們提出了coupled propagation。在coupled propagation中，傳播模塊是相互連接的，將后向傳播的特征作為前向傳播模塊的輸入。

結果，前向傳播分支從過去和將來的幀中接收信息，從而導致更高質量的特征，并因此獲得更好的輸出。更重要的是，由于coupled propagation只需要改變分支連接，我們可以在不引入計算開銷的情況下獲得性能增益。

Part 3 實驗結果

我們在四個數據集上，兩個退化上測試BasicVSR和IconVSR。我們看到，沒有復雜的模槐，BasicVSR就已經可以在多個數據集上勝過現有技術。借助我們提出的部件，IconVSR可以進一步提高性能，并在大多數數據集上實現最先進的性能。以下結果表明，BasicVSR和IconVSR通過利用長期信息成功地重建了細節。

Part 4 結語

通過分解和分析現有元素，我們提出了BasicVSR，這是一個簡單而有效的網絡，可以高效地勝過現有技術。我們提出了兩個新穎的組件來進一步提高性能。BasicVSR和IconVSR可以作為將來工作的牢固基線。

相關鏈接

Paper (arXiv):

https://arxiv.org/abs/2012.02181

Project Page: https://ckkelvinchan.github.io/projects/BasicVSRCodes: https://github.com/ckkelvinchan/BasicVSR-IconVSR

作者介紹

陳焯杰 (Kelvin C.K. Chan) | 南洋理工大學S-Lab和MMLab@NTU三年級博士生。在頂級會議上發表過五篇論文，在NTIRE視頻復原比賽中共獲得六個冠軍。導師是呂健勤(Chen Change Loy)副教授。當前主要研究興趣為圖像和視頻復原，主要包括超分辨率和去模糊等。

個人主頁：https://ckkelvinchan.github.io/

實驗室主頁：mmlab-ntu.github.io