商湯提出Anchor-free目標檢測新網絡

論文地址：https://arxiv.org/pdf/2003.09119.pdf
代碼地址：https://github.com/KiveeDong/CentripetalNet

導讀

CVPR 2020上，商湯移動智能事業群-3DAR-身份認證與視頻感知團隊提出了基于向心偏移的anchor-free目標檢測網絡centripetalnet，為基于關鍵點的目標檢測方法研究帶來了新思路。Centripetalnet在大型公開數據集MS-COCO上達到了目前anchor-free檢測模型中的最優效果。

動機

1.現有的基于關鍵點的目標檢測網絡（如CornerNet、CenterNet、ExtremeNet等）通過使用關聯嵌入向量進行物體關鍵點的匹配，然而關聯嵌入向量具有訓練難度大且容易混淆同類物體的缺點，這會造成許多錯誤的關鍵點匹配從而導致錯誤的檢測結果。因此本文提出使用關鍵點的向心偏移（centripetal shift）來進行匹配，其背后的思想是同一個物體的不同關鍵點應該對應同一個物體中心點。從下圖可以直觀的看到利用向心偏移匹配相對于關聯嵌入向量在避免錯誤匹配方面的優勢

2.我們采用物體邊界框的兩個角點作為關鍵點，然而角點位置缺乏物體信息，現有方法使用角點池化的方法將物體邊界信息聚合到角點位置，然而我們發現角點位置依然缺乏物體內部信息，而這些物體內部特征在角點位置形成了如下圖的“十字星（cross-star）”，因此我們設計了十字星可變形卷積（cross-star deformable convolution），成功地提取了這些物體內部信息，從而優化了角點位置的物體特征，提高了模型性能。

模型設計

       CetripetalNet可以分為4個部分：特征提取網絡，角點檢測與特征調節，向心偏移模塊，實例分割模塊，整體架構如下圖所示。

1. 特征提取網絡：

CentripetalNet和CenterNet、CornerNet一樣，采用Hourglass-104和Hourglass-52作為特征提取網絡。

1. 角點檢測和特征調節模塊

左上角點和右下角點的這部分模塊是獨立的。角點檢測采用關鍵點預測的方法，用角點的ground truth構建要回歸的角點熱力圖并加以高斯化，讓網絡輸出回歸該熱力圖從而學習預測角點位置；特征調節即是十字星可變形卷積，通過利用角點池化之后的特征預測十字星幾何信息（guiding shift），然后從十字星幾何信息中學習可變形卷積的采樣點偏移。

1. 向心偏移模塊

首先使用經過十字星可變形卷積調節之后的特征預測每個角點的向心偏移，接著結合角點位置，完成角點的匹配，得到檢測到的物體邊界框。

1. 實例分割模塊

使用特征提取網絡得到的物體特征圖和3得到的物體檢測框作為輸入，利用RoIAlign提取每個感興趣區域的特征，然后利用多個卷積和反卷積層預測物體掩膜。

實驗分析

1.在COCO test-dev上，CentripetalNet達到了anchor-free模型中的最優檢測效果，同時在實例分割方面的表現也具有一定競爭力。

2.向心偏移相對于關聯嵌入向量的優勢
為了比較向心偏移和關聯嵌入向量的性能，我們使用特征提取網絡為Hourglass-52的CornerNet作為基準模型，然后將關聯嵌入向量直接替換為向心偏移進行比較。為了公平起見，我們還將關聯嵌入的向量增加為2維，這和向心偏移的維度一致，從下表可以看到，基于向心偏移的方法性能明顯更優。

3.十字星可變形卷積的有效性
我們比較了十字星可變形卷積和其他特征調節方法的性能差異（包括普通可變形卷積以及RoIConv）

我們還比較了幾種特征調節方法的采樣點位置，發現只有十字星可變形卷積可以很好地采樣到十字星上的特征信息。

4.和現有算法的可視化比較
下圖三行從上至下分別是CornerNet，CenterNet和CentripetalNet

5.1. 實例分割效果可視化