Facebook 开源 FBGEMM,服务器端推理优化库

栏目: 软件资讯 · 发布时间: 6年前

Facebook 开源了 FBGEMM,一个针对服务器推理优化的高性能核心库。 与其他库不同,FBGEMM 最大程度优化了 CPU 性能,通过降低精度计算来加速深度学习模型。 目前 Facebook 已经在自己的服务中使用该库,与目前的生产基准相比,它带来了两倍的性能提升。

FBGEMM 的最大特点是优化低精度数据。 与科学计算中使用的传统线性代数库不同,FBGEMM 不使用 FP32 或 FP64 精度,可以为小批量提供有效的低精度通用矩阵乘法(GEMM)运算,并支持精确损失最小化技术,例如行式(Row-wise)量化和异常值感知量化。

FBGEMM 已在 Facebook 上大规模部署,加速了许多端到端人工智能服务,包括将英语翻译成西班牙语的速度提高 1.3 倍,减少了 40% 的推荐系统信息源动态内存带宽的使用 ,并将机器学习系统 Rosetta 的字符检测速度提升2.4倍(Rosetta 是 Facebook 用来理解文本,图像和视频内容的系统。)

Facebook 开源 FBGEMM,服务器端推理优化库

详情请看 这里 的介绍。


以上所述就是小编给大家介绍的《Facebook 开源 FBGEMM,服务器端推理优化库》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

JavaScript & jQuery

JavaScript & jQuery

David Sawyer McFarland / O Reilly / 2011-10-28 / USD 39.99

You don't need programming experience to add interactive and visual effects to your web pages with JavaScript. This Missing Manual shows you how the jQuery library makes JavaScript programming fun, ea......一起来看看 《JavaScript & jQuery》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

URL 编码/解码
URL 编码/解码

URL 编码/解码

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具