基于 Apache Spark 的分布式深度学习库 BigDL

• 授权协议: Apache
• 开发语言: Scala
• 操作系统: 跨平台
• 软件首页: https://github.com/intel-analytics/BigDL
• 软件文档: https://github.com/intel-analytics/BigDL/blob/master/README.md
• 官方下载: https://github.com/intel-analytics/BigDL/archive/master.zip

软件介绍

BigDL，是 Intel 开源的一个基于 Apache Spark 的分布式深度学习库。使用 BigDL ，用户可以将他们的深度学习应用程序作为标准的 Spark 程序，它可以直接运行在现有的 Spark 或 Hadoop 集群之上。

特性：

• 丰富的深度学习支持。BigDL 模仿 Torch，提供对深度学习的全方位支持，包括数值计算（通过Tensor）和高层次神经网络。此外，用户可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。

• 极其高的性能。为了达到高性能，BigDL 在每个 Spark 任务中使用 Intel MKL和多线程编程。因此，它比单节点 Xeon 上的开箱即用的 Caffe、Torch 或 TensorFlow 快几个数量级。

• 有效地横向扩展。 BigDL 可以通过利用 Apache Spark 以及高效实施同步 SGD， 全面减少 Spark 上的通信，有效地向外扩展，以“大数据规模”执行数据分析。

本文地址：https://codercto.com/soft/d/16776.html