极简MapReduce框架 Mincemeat-node

码农软件 · 软件分类 · 大数据 · 2020-02-14 08:58:19

软件介绍

Mincemeat-node 是使用Node.js实现的极简MapReduce框架,可以快速的部署投入工作,免去Hadoop繁琐的配置,享受随心大数据。

Mincemeatpy实现的是一种非常简单的MapReduce模型,仅仅实现了任务的分布计算,并没有类似HDFS这样的支撑,因此只适合做计算量很 大的工作,但是相对于Hadoop的好处在于部署非常的方便,单文件随处运行,在实际使用中非常的方便,这也是我想用Node.js去实现的原因之一。 Node.js的网络异步处理模型非常适合于这种突发通信量较大,性能要求比较高的场景,并且也是单文件随处运行的典型。相对的,Node.js也有一个 很严重的缺点:无法很好的利用多核CPU。因此在代码的实现上,我还是使用了多进程的方式来达到最大化的利用计算资源,并且对Client的负载进行检测 以便做负载均衡。

本文地址:https://codercto.com/soft/d/25576.html

数字乌托邦

数字乌托邦

尼古拉斯•卡尔 / 姜忠伟 / 中信前沿出版社 / 2018-5 / 69.00

当下,技术与我们的关系变得越来越紧密不可分割,特别是智能手机等设备的出现,带给整个人类社会一场彻底的变革。的确,智能手机上的各种应用程序让我们的工作生活无比便利:社交媒体让我们能够和他人实时保持联络并传输信息,不再受时间、地点的限制;搜索引擎通过精准的算法将我们所需要的信息整合推送至屏幕上,让我们毫不费力就看到自己想要的;地图软件为我们的出行提供了更多路线选择,甚至可以使用语音导航,帮助我们顺利到......一起来看看 《数字乌托邦》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具