内容简介:翻译自:https://stackoverflow.com/questions/31114568/how-to-interpret-mapreduce-performance-counters
>在任务计数器中,CPU花费来自proc / stat的utime stime,因此它意味着像IOWait这样的东西不会被计算在内.是对的吗?
>整个任务的经过时间比花费计数器的CPU时间长很多,这是否意味着节点非常繁忙且容器没有CPU或等待很长时间的IO?
>如何从计数器判断任务是CPU绑定还是IO计数?
‘CPU_MILLISECONDS’计数器可以为您提供有关 – 所有任务在CPU上花费的总时间的信息.
‘REDUCE_SHUFFLE_BYTES’数字越高,n / w利用率越高. (更多选择可以这样)
Hadoop中有4类计数器:文件系统,作业,框架和自定义.
您可以使用内置计数器来验证:
1.The correct number of bytes was read and written 2.The correct number of tasks was launched and successfully ran 3.The amount of CPU and memory consumed is appropriate for your job and cluster nodes 4.The correct number of records was read and written
更多信息avalible @ https://www.mapr.com/blog/managing-monitoring-and-testing-mapreduce-jobs-how-work-counters#.VZy9IF_vPZ4 (** credits- mapr.com)
翻译自:https://stackoverflow.com/questions/31114568/how-to-interpret-mapreduce-performance-counters
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
计算机程序设计艺术(第2卷)
高德纳 / 机械工业出版社 / 2008-1 / 109.00元
《计算机程序设计艺术:半数值算法(第2卷)(英文版)(第3版)》主要内容:关于算法分析的这多卷论著已经长期被公认为经典计算机科学的定义性描述。迄今已出版的完整的三卷已经组成了程序设计理论和实践的惟一的珍贵资源,无数读者都赞扬Knuth的著作对个人的深远影响,科学家们为他的分析的美丽和优雅所惊叹,而从事实践的程序员已经成功地将他的“菜谱式”的解应用到日常问题上,所有人都由于Knuth在书中表现出的博......一起来看看 《计算机程序设计艺术(第2卷)》 这本书的介绍吧!