服务器端推理优化库 FBGEMM

码农软件 · 软件分类 · 机器学习/深度学习 · 2019-08-05 10:13:04

软件介绍

Facebook 开源了 FBGEMM,一个针对服务器推理优化的高性能核心库。 与其他库不同,FBGEMM 最大程度优化了 CPU 性能,通过降低精度计算来加速深度学习模型。 目前 Facebook 已经在自己的服务中使用该库,与目前的生产基准相比,它带来了两倍的性能提升。

FBGEMM 的最大特点是优化低精度数据。 与科学计算中使用的传统线性代数库不同,FBGEMM 不使用 FP32 或 FP64 精度,可以为小批量提供有效的低精度通用矩阵乘法(GEMM)运算,并支持精确损失最小化技术,例如行式(Row-wise)量化和异常值感知量化。

FBGEMM 已在 Facebook 上大规模部署,加速了许多端到端人工智能服务,包括将英语翻译成西班牙语的速度提高 1.3 倍,减少了 40% 的推荐系统信息源动态内存带宽的使用 ,并将机器学习系统 Rosetta 的字符检测速度提升2.4倍(Rosetta 是 Facebook 用来理解文本,图像和视频内容的系统。)

本文地址:https://codercto.com/soft/d/11685.html

深度探索C++对象模型

深度探索C++对象模型

斯坦利•B.李普曼 (Stanley B. Lippman) / 侯捷 / 电子工业出版社 / 2012-1 / 69.00元

作者Lippman参与设计了全世界第一套C++编译程序cfront,这本书就是一位伟大的C++编译程序设计者向你阐述他如何处理各种explicit(明确出现于C++程序代码中)和implicit(隐藏于程序代码背后)的C++语意。 本书专注于C++面向对象程序设计的底层机制,包括结构式语意、临时性对象的生成、封装、继承,以及虚拟——虚拟函数和虚拟继承。这本书让你知道:一旦你能够了解底层实现模......一起来看看 《深度探索C++对象模型》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

html转js在线工具
html转js在线工具

html转js在线工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换