极简MapReduce框架 Mincemeat-node

码农软件 · 软件分类 · 大数据 · 2020-02-14 08:58:19

软件介绍

Mincemeat-node 是使用Node.js实现的极简MapReduce框架,可以快速的部署投入工作,免去Hadoop繁琐的配置,享受随心大数据。

Mincemeatpy实现的是一种非常简单的MapReduce模型,仅仅实现了任务的分布计算,并没有类似HDFS这样的支撑,因此只适合做计算量很 大的工作,但是相对于Hadoop的好处在于部署非常的方便,单文件随处运行,在实际使用中非常的方便,这也是我想用Node.js去实现的原因之一。 Node.js的网络异步处理模型非常适合于这种突发通信量较大,性能要求比较高的场景,并且也是单文件随处运行的典型。相对的,Node.js也有一个 很严重的缺点:无法很好的利用多核CPU。因此在代码的实现上,我还是使用了多进程的方式来达到最大化的利用计算资源,并且对Client的负载进行检测 以便做负载均衡。

本文地址:https://codercto.com/soft/d/25576.html

代码之外的功夫

代码之外的功夫

[美] Gregory T. Brown / 李志 / 人民邮电出版社 / 2018-3-1 / 49.00元

本书虽然面向程序员,却不包含代码。在作者看来,90%的程序设计工作都不需要写代码;程序员不只是编程专家,其核心竞争力是利用代码这一工具解决人类社会的常见问题。以此作为出发点,作者精心构思了8个故事,以情景代入的方式邀请读者思考代码之外的关键问题:软件开发工作如何从以技术为中心转为以人为本?透过故事主人公的视角,读者能比较自己与书中角色的差异,发现决策过程的瑕疵,提升解决问题的综合能力。 书中......一起来看看 《代码之外的功夫》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

URL 编码/解码
URL 编码/解码

URL 编码/解码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器