論文筆記: Efficient Net Rethinking

這是一篇Google Research提出在ICML2019的文章，主要講述如何將現有模型，不用手動條參數的方式，改善模型的效能。

名詞解釋

目前改善模型的方式主要有三種，透過增廣模型，我們往往能夠取得更好的模型。根據圖片，三種方法的名詞解釋如下。

1. Width : filter的數量

2. Depth 模型的層數

3. Resolution 輸入image的解析度

加大模型

由圖發現接近高精確度時，曲線快速的收斂，此時就算加大模型複雜度，成效也難以提升。

另外，作者發現這三種方式，並不是互相獨立的。從下圖可看出當resolution提升的時候，相對應的depth會變得十分重要。這從直觀上十分容易理解。

組合式加強

經過前述的觀察後，作者提出一個新的思路來加強模型

接著不同的depth width resolution 使用αβγ ϕ作為控制的參數，設定最佳化目標ACC(m)×[FLOPS(m)/T]w 。

實驗結果

ImageNet的競賽中，此篇方法在精準度、參數量、運算量都表現最好。

Resnet152提升的速度甚至可以達到5.7倍，十分驚人。

另外作者也有嘗試Cifar10 /100 Standford Car …..不同的dataset，效果也都是最佳。

從CAM圖中發現就算是在imagenet中取得良好分類結果的模型，在熱度圖中的敏感區域也都是模糊不清，但是經過本篇方法scale up的模型在高敏感區域更加集中且精準。

結語

這篇文章提出的想法十分簡單，運用自動化的方式調整模型將能減少大量的人力調參需求，不過深度學習的算法不只運用在分類問題，在偵測、語意分割、動作預測…..不同領域並沒有深入測試，所以是否能在較複雜的任務上使用這種簡單的最佳化方式scale up 模型還需要經過測試才能得知。