LinkedIn 开源 TonY 项目，允许用户在单个节点或大型 Hadoop 集群上构建基于 YARN 的 TensorFlow 应用程序解决方案。 TonY 的工作方式就像在 Hadoop 中的 MapReduce，执行 Pig 和 Hive 脚本的方法类似，为 TensorFlow 任务提供第一级支持。 TonY 由三个主要组件组成，客户端，ApplicationMaster 和 TaskExecutor。 它提供了 GPU 调度，精确资源请求，TensorBoard 支持和容错的四个主要功能。
LinkedIn 平台上有近 6 亿会员，随着深度学习技术的发展，LinkedIn 的人工智能工程师努力将人工智能应用于许多功能，如摘要或回复，其中许多是使用谷歌开发的。 构建了深度学习框架 TensorFlow。 一开始，LinkedIn 内部 TensorFlow 用户旨在小型应用程序和非托管的裸机上使用。但随着后期的开发，他们越来越意识到必须要让 TensorFlow 连接并使用 Hadoop 大数据平台上的计算和存储资源。 LinkedIn 的 Hadoop 集群拥有数百 PB 的数据，是开发深度学习应用程序的理想选择。
除了在 Hadoop 上执行基本的分散式 TensorFlow 之外，TonY 还实现了支持大规模训练的功能。 TonY 支持 GPU 调度，可以使用 Hadoop API 从集群请求 GPU 资源。 此外，它还支持高精度资源请求。 由于 TonY 可以请求不同的实体作为单独的组件，因此用户可以为每种实体类型请求不同的资源，即用户可以控制应用程序使用的资源。 它还可以帮助集群管理员避免浪费硬件资源。
以上所述就是小编给大家介绍的《LinkedIn 开源 TonY，让 Hadoop 原生支持 TensorFlow》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- apollo：开源的 Go 原生社交系统
- apollo：开源的 Go 原生社交系统
- Kubernetes云原生开源分布式存储介绍
- OpenKruise - 云原生应用自动化引擎正式开源
- Linkerd 2.5 发布，原生云应用开源服务网格
- LinkedIn 开源 TonY，让 Hadoop 原生支持 TensorFlow
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
从0开始做运营 入门篇
张亮 / 4.99元
此书是《从零开始做运营》系列的入门篇。 在互联网产品经理热的今天，关于传统的网站与产品运营的书籍一直非常缺乏，很多有志于互联网行业的年轻人并不明白一款产品、一个网站的策划、上线、成长、成熟直到衰落的过程中，除了产品和网站本身的设计之外，还有一块非常重要的工作是针对网站与产品生命周期的持续运营。 网站与产品运营是一个非常辛苦而非常有趣的事情，希望本书可以为有志于从事互联网网站与产品运营的......一起来看看 《从0开始做运营 入门篇》 这本书的介绍吧!
