AutoML Vision的雲與端

自從 AutoML Vision 早期 alpha 時，我就非常期待這個功能，並且申請成為 early trusted tester。但在正式推出之後卻一直沒有把它用在 production。一個很重要的原因是，訓練好的模型沒有辦法在 edge device 離線使用。期間也收到過 Google 的意見回饋調查，有問到是否會希望在 Edge 使用方面的問題。看來很多使用者也有類似的建議，不過坦白說沒有過多的期待。沒想到在 Google Cloud Next 2019 期間就推出了 AutoML Vision Edge (當然是 Beta)! 這篇文章就是說明一下試用的過程，包括使用 AutoML Vision 進行訓練的步驟，以及將訓練好的模型部署到一般的裝置及 TPU 上試著推論 (inference) 看看。

Google 在思考 edge device 這件事時，不僅僅只是把下載模型功能打開，而是從訓練開始思考怎麼調整。怎麼說？訓練一個模型牽涉到很多環節，除了準備資料、調整超參數 (hyperparameters) 之外，有一個很重要的關鍵是要使用什麼樣的模型架構 (model architecture 或 topology)。一般而言，越複雜的模型準確率越高，但需要的運算量越大。大家可能都已經知道， 使用 AutoML Vision 需要提供已經標記的資料集 (labeled dataset)。而 AutoML 會使用 NAS (Neural Architecture Search) 方法試著找到一個 topology 在你的資料上能有較好的表現 (簡單理解就是正確率)。

但表現好的模型，可能不適合在 edge device 執行。因此我們就要取捨，到底我需要比較高的 accuracy，犧牲 latency；或是我需要比較小的 latency (反應更快速)，同時可以接受稍微低的正確率。Google 在這裏的做法是，提供由低精確度 (反應快速) 到高精確度 (反應較慢) 三種不同的 edge model 訓練策略，並把決定權交由開發者自行依據需求評估 。以下就開始介紹整個使用的過程。