【AutoML】AutoML专栏上线，跟Google一起见证调参党的末日？

大家好，今天开设新专栏《AutoML》，即Automated Machine Learning。在这个专栏中，我们会讲述AutoML相关的内容，覆盖数据使用，模型架构，优化算法等内容。

我大概在两年前的时候开始关注深度学习自动化相关的技术，AI自动化的那天 早晚都 会到来，它不仅会把图像识别等技术自动化，也会逐渐蚕食写程序，设计类的工作岗位，最后把开发AI的人也给干掉，这一篇我们先来大致看看在深度学习领域，它们已经做到什么程度了。基本上所有的研究都是从谷歌开始，谷歌再次全面领导了新的革命。

作者&编辑 | 言有三 

作为第一篇，我们先粗略介绍一下AutoML技术是什么，以及可以做些什么？

1 什么是AutoML

所谓AutoML，全称是Automated Machine Learning，即自动机器学习技术，它的发展现状可以参考下面的综述文章。

Zoller M, Huber M F. Survey on Automated Machine Learning.[J]. arXiv: Learning, 2019.

AutoML的目标是让机器学习的整个流程的创建完全自动化，从应用领域来说，这通常要包括 数据的使用，特征的选择，模型架构的设计，优化方法的使用，所以这些方向都会涉及到超参数的自动调节 。

有了AutoML技术后，各个领域的专家便能够低门槛地使用机器学习技术，而不用依赖于机器学习专家。

2 数据使用与特征选择

智能系统与机器学习技术的发展，本身就伴随着对数据的使用方法的进化。从传统的专家系统，到有监督的机器学习算法，到深度学习，本身就属于AutoML的范畴，它解决了特征选择的问题，让特征的学习来源于数据，而不是手工设计。

所以深度学习也被称之为特征学习，它利用CNN等架构，实现了特征选择的过程。

另一方面，在机器学习/深度学习领域中，还有一个很重要的问题，就是数据增强。在解决各类任务的过程中，常常没有足够多的数据，数据太少便意味着过拟合，因此数据增强技术至关重要。

曾几何时，我们采用各种各样的几何变换，颜色变换策略来进行数据增强。随机裁剪，颜色扰动，都对提升模型的泛化能力起着至关重要的作用。

技术发展到了现在，AutoML技术开始在数据增强领域展露头脚，以Google Brain提出的AutoAugment为代表的方法，使用增强学习对不同的任务学习到了各自最合适的增强方法，具体细节，大家可以参考论文和我们之前的往期文章解读，以后我们也会继续开篇讲述更新的研究。

Cubuk E D, Zoph B, Mane D, et al. AutoAugment: Learning Augmentation Policies from Data.[J]. arXiv: Computer Vision and Pattern Recognition, 2018.

数据使用和特征选择作为最早被AutoML技术攻陷的领域，是机器学习算法走向智能和商业化落地的关键，

3 网络结构设计NAS

一直以来，网络结构的设计是一个非常需要经验且具有挑战性的工作，研究人员从设计功能更加强大和更加高效的模型两个方向进行研究，我之前在知乎上也做了两个live直播讲述对应的核心技术，感兴趣可以去听听。

随着各类经典网络设计思想的完善，如今要手工设计出更强大的模型已经很难，而以AutoML为代表的技术在三年前开始被研究。

Google首次提出了自动设计网络模型的思想，利用增强学习进行最佳架构的搜索。学习方法如下，基本思想是从一个定义空间中选取网络组件，使用网络的准确率作为指导指标，使用强化学习进行学习。

学习到的网络结构如下：

[1] Zoph B, Le Q V. Neural Architecture Search with Reinforcement Learning[J]. international conference on learning representations, 2017.

[2] Zoph B, Vasudevan V, Shlens J, et al. Learning Transferable Architectures for Scalable Image Recognition[J]. computer vision and pattern recognition, 2018: 8697-8710.

[3] Elsken T, Metzen J H, Hutter F, et al. Neural Architecture Search: A Survey[J]. Journal of Machine Learning Research, 2018, 20(55): 1-21.

4 优化方法的搜索

曾几何时，我们设计，比较，分析sigmoid，tanh，relu等激活函数对网络性能的影响。

而Google Brain提出的以Swish为代表的方法，在一系列一元函数和二元函数组成的搜索空间中，进行了组合搜索实验，利用数据学习到了比ReLU更好的激活函数，可以参考往期文章(点击图片)。

Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

曾几何时，我们还在争论是最大池化好还是平均池化好，如今基于数据的池化策略已经被广泛研究。

Saeedan F, Weber N, Goesele M, et al. Detail-Preserving Pooling in Deep Networks[J]. computer vision and pattern recognition, 2018: 9108-9116.

曾几何时，我们还在不知道选择什么样的归一化方法好，如今，对每一个网络层学习最合适的归一化策略也是可行的。

Luo P, Ren J, Peng Z, et al. Differentiable Learning-to-Normalize via Switchable Normalization[J]. international conference on learning representations, 2019.

曾几何时，我们在各种各样的优化方法中迷茫，如今，自动学习优化方法也开始被研究。

Bello I, Zoph B, Vasudevan V, et al. Neural Optimizer Search with Reinforcement Learning[J]. international conference on machine learning, 2017: 459-468.

曾几何时，我们还在想尽办法设计损失函数，如今，使用AutoML进行损失函数的学习也开始了。

Wu L, Tian F, Xia Y, et al. Learning to Teach with Dynamic Loss Functions[J]. neural information processing systems, 2018: 6466-6477.

曾几何时，我们在各种模型压缩技巧中鏖战，如今，使用AutoML技术用于模型压缩的研究也新鲜出炉。

He Y, Lin J, Liu Z, et al. AMC: AutoML for Model Compression and Acceleration on Mobile Devices[J]. european conference on computer vision, 2018: 815-832.

https://github.com/hibayesian/awesome-automl-papers

https://www.automl.org/wp-content/uploads/2019/05/AutoML_Book.pdf

总结

如果你足够细心，应该就会发现上面所有的研究，基本上都离不开Google的身影。感谢谷歌，正在让深度学习的一切开始自动化。同时也要警惕Google，它正在抢走你的饭碗。

下期预告：AutoML与数据增强策略。

今日网络结构

转载文章请后台联系

侵权必究