谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

栏目: 软件资讯 · 发布时间: 5年前

内容简介:最近,谷歌基于AutoML开发了虽然准确率只比之前最好的Gpipe提高了0.1%,但是模型更小更快,参数的数量和FLOPS都大大减少,效率提升了

晓查 发自 凹非寺

量子位 出品 | 公众号 QbitAI

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

最近,谷歌基于AutoML开发了 EfficientNets ,这是一种新的模型缩放方法。它在ImageNet测试中实现了84.1%的准确率,再次刷新了纪录。

虽然准确率只比之前最好的Gpipe提高了0.1%,但是模型更小更快,参数的数量和FLOPS都大大减少,效率提升了 10倍

开发EfficientNets是来自谷歌大脑的工程师 Mingxing Tan 和首席科学家 Quoc V. Le ,他们的文章《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》已经被 ICML 2019 收录, 并在GitHub上开源了模型

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

实现方法

传统提高CNN准确率的方法有:增加网络的深度或宽度,例如通过增加层数将ResNet-18可扩展到ResNet-200,或者是提高输入图片分辨率来训练和评估网络。

虽然这些方法确实提高了准确率,但是通常需要繁琐的手动调整,而且经常不能获得最优的性能。

最近谷歌提出了一种 复合缩放 (compound scaling)的方法,与缩放神经网络的传统方法不同,谷歌的方法使用一组固定的缩放系数统一缩放每个维度。

实现复合缩放的首先是执行 网格搜索 ,以在固定资源约束下找到基线网络(baseline model)的不同缩放维度之间的关系,确定每个维度的缩放比例系数。然后将这些系数将应用于基线网络,扩展到所需的目标模型大小或计算力。

模型缩放的有效性也在很大程度上依赖于基线网络。因此,为了进一步提高性能,谷歌还使用 AutoML MNAS 框架优化了模型的准确率和效率,执行神经架构搜索来开发新的基线网络。

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

性能表现

EfficientNet模型实现了比现有CNN更高的精度和更高的效率,将参数数量和FLOPS降低了一个数量级。

特别需要指出的是,EfficientNet-B7在ImageNet上实现了目前最先进的测试结果,准确度为84.4%(top-1)和97.1%(top-5),同时比现有最好的Gpipe小了8.4倍,推理速度快6.1倍。

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

在同等算力的条件下,EfficientNet也有更好的表现。与ResNet-50相比,EfficientNet-B4的准确率为82.6%,比ResNet-50的76.3%高出6.3个百分点。

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

EfficientNets不仅在ImageNet上表现良好,迁移到其他数据集上也有优秀的表现。为了评估这一点,谷歌在8个广泛使用的迁移学习数据集上测试了EfficientNets,其中5个实现了最先进的准确度。它在CIFAR-100上准确度为91.7%,在Flowers上为98.8%,同时参数减少了21倍。

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

传送门

博客地址:

https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html

开源地址:

https://arxiv.org/abs/1905.11946

小程序|全类别AI学习教程

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

AI社群|与优秀的人交流

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍

量子位  QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !


以上所述就是小编给大家介绍的《谷歌开源缩放模型EfficientNets:ImageNet准确率创纪录,效率提高10倍》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

O2O

O2O

张波 / 机械工业出版社华章公司 / 2013-2-5 / 49.00元

2012年是O2O元年,无论是成熟的传统企业、如火如荼的电子商务企业,还是以电信、银行、娱乐等为代表的与民生相关的企业,都在探索和践行O2O模式,因为O2O中孕育着极富创新性的商业模式。本书是国内首部O2O方面的著作,不仅宏观上叙述了O2O的概念、在各行业的应用情况,以及未来的发展趋势,而且还系统阐述和解读了各行业如何借助O2O来顺利实现商业模式的转型和升级;不仅极富洞察力地分析了O2O在营销、支......一起来看看 《O2O》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具