在人工智能领域里，因为研究人员的努力，顶尖算法的效率提升速度超过了芯片中摩尔定律的速度。
著名人工智能研究机构OpenAI今天更新了有关业内顶尖机器学习模型算法需求的报告，并得出最新结论：自 2012 年以来，在著名数据集 ImageNet 上训练一个图像分类系统所需的算力每 16 个月减少一倍。
这一观点和OpenAI几个月前「最先进 AI 模型算力需求增长 30 万倍」的态度有了很大变化，其结论或许意味着人工智能在未来发展的过程中将不大可能受到算力瓶颈的掣肘。
除了关注模型的最优表现之外，OpenAI本次研究发现的模型效率提升是最引人关注的地方。它还有着更深层次的意义：为 AI 的技术属性和社会影响提供依据。
「算法的改进是 AI 技术提升的核心。不过寻找衡量所有技术进步的标准非常困难，特别是它们在使用算力方面变化的趋势，」OpenAI表示。「算法效率的提升使得研究人员可以在同样时间内进行更多实验，并减少资金花费。分析表明，政策制定者需要增加对于计算效率研究的投资，这不仅对于学术界有帮助，而且可以进一步帮助业界。」
此外，值得注意的是，OpenAI并不是首个公开提出对 AI 模型的效率展开基准测试的机构。2019 年，艾伦人工智能研究所、卡内基梅隆大学以及华盛顿大学的科学家提议将效率作为 AI 学术论文以及准确性和相关度量的更常用评估标准。同时，也有人呼吁进行工业级的效能分析，并为机器学习项目建立每瓦特计算（compute-per-watt）的标准。
「后浪推前浪」：更高效模型不断涌现，算力持续提升
在调查研究中，OpenAI发现在 WMT-14 翻译任务上谷歌 Transformer 所需算力已经比此前常用的 seq2seq 模型要少 61 倍——而两者推出的相隔时间也仅有 3 年。
DeepMind 的著名人工智能AlphaZero 不仅可以从零开始自我学习实现在围棋、象棋、日本将棋等游戏中超越人类的水平，而且要比前一代系统，仅早一年推出的 AlphaGoZero 节省 8 倍算力。
对于OpenAI自己，最近被人们所熟知的技术当然是 Dota 2人工智能OpenAIFive 了，其最新的 Rerun 版本仅需 1/5 的算力即可打败前一代算法，而两代推出的相隔时间仅有三个月。
近年来各种算法训练出 AlexNet 级图片分类效果所需的算力，蓝色点为当时效率最优。
简而言之，仅以图像分类任务来看的话，过去 7 年人工智能的效率已经提升了 44 倍。这个速度超过了摩尔定律，似乎意味着只要持续努力下去，我们无需担心会因为硬件瓶颈而导致人工智能发展受阻的情况。另一方面，考虑到 2012 年的算力价格和 2019 年大有不同，在实践中情况还要更好一些。
如此乐观的结论，和不到一年前OpenAI得出的「AI 计算量每年增长 10 倍」看起来有些不同。去年 11 月，这家机构的研究发现从 AlexNet 到 AlphaGo Zero，跨方向最先进 AI 模型对计算量的需求已经增长了 30 万倍。
OpenAI推测算法效率可能超过摩尔定律带来的增益，因为它观察到集成电路中的晶体管数量大约每两年翻一番。有趣的是，人工智能的发展规律也类似于英特尔芯片近年来提出的「Tick Tock」发展战略——新的功能通常需要耗费大量的算力才能获得（新制程），然后这些功能的优化版本得益于流程改进而实现更高效的部署（似乎可以对应芯片上新微架构的提升）。
此外调研结果表明，对于投入大量研究时间和/或算力的 AI 任务来说，算法效率的提升可能超过了对硬件效率的需求。
作为总体基准测试的一部分，OpenAI首先进行视觉和机器翻译效率基准测试，特别是在 ImageNet 和 WMT14 数据集，并且之后会添加更多的基准方法。不允许出现人工标签、其他图像或数据，但对用于翻译或扩增增强的训练数据不会施加任何限制。
从 ImageNet 数据集上的 79.1% top-5准确率来看，从 2012 年的 AlexNet 到 2019 年的 EfficientNet，算力提升了 44 倍之多。
从 WMT-14 EN-FR 数据集上的 34.8 BLEU 来看，从 2014 年的 Seq2Seq(Ensemble) 到 2017 年的 Transformer(base)，算力提升了 61 倍。
算力、算法相结合，继续加大 AI 算法效率的研究投入
OpenAI表示：「业界领袖、政策制定者、经济学家和潜在的研究人员都力图更深刻地理解 AI 进展，并决定他们应该投入多少以及这些投入的未来走向。AI 模型效率的基准测试正好可以帮助他们做出正确的决策。」
AI 算法的效率提升虽然可观，但相对于呈指数增长的新算法参数数量来讲还是显得不够。OpenAI研究人员提出的「有效计算」概念把算力和算法的提升结合了起来，我们可以直观地看到各领域对于人工智能发展的贡献：
看起来，并行计算和芯片制程的提升加起来还是占大头。但正如研究人员得出的结论：我们需要加大对于 AI 算法效率研究的投入。
参考内容： https://openai.com/blog/ai-and-efficiency/
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- 微软Azure在云基础设施市场份额几乎翻番
- 网宿科技安全报告 爬虫肆虐 Web应用攻击增长翻番
- 网宿科技最新安全报告：“爬虫”肆虐 Web应用攻击增长翻番
- 网宿科技最新安全报告：“爬虫”肆虐 Web应用攻击增长翻番
- 通俗易懂--决策树算法、随机森林算法讲解(算法+案例)
- 限流算法之漏桶算法、令牌桶算法
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
