内容简介:6月下旬,Uber开源了一个分布式性能分析器,名为Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下,同一台服务器中会运行很多Spark应用,而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵,而无法对单一应用进行监控。他们需要一个解决方案,使得对每个进程都可以收集其相关性矩阵,并对每个应用进行跨进程的相关性分析。JVM Profiler有三个主要特性,可以简化对性能和资源使用状况矩阵的收集,然后将收集到的信息发布给其他系统(如Apa
6月下旬,Uber开源了一个分布式性能分析器,名为 JVM Profiler 。Uber搭建这一 工具 的目的是解决他们在使用Apache Spark框架过程中的资源配置问题。Apache Spark是一个非常流行的框架,主要用于处理大型数据流问题,这正是Uber所需要的。JVM Profiler是为Spark而建的,但它也可以被应用于任何基于JVM的服务或应用。
Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下,同一台服务器中会运行很多Spark应用,而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵,而无法对单一应用进行监控。他们需要一个解决方案,使得对每个进程都可以收集其相关性矩阵,并对每个应用进行跨进程的相关性分析。
JVM Profiler有三个主要特性,可以简化对性能和资源使用状况矩阵的收集,然后将收集到的信息发布给其他系统(如Apache Kafka)用以进一步分析。
- Java Agent :可以以分布式的形式在JVM进程上收集矩阵。
- 高级性能分析能力 :可跟踪任意方法和参数,而无需对代码进行任何修改。可以识别Spark应用中耗时较长的方法调用,并检测HDFS文件路径中的热文件。
- 数据分析报告 :可以通过Kafka topic和Apache Hive更快地进行数据分析。
JVM Profiler的设计很简单,但扩展性很强。用户可以自行添加其他的profiler实现,以收集更多的矩阵。这样,用户便可以添加自己的矩阵发布报告。
Uber关于JVM Profiler的博客 中还包含了有关如何添加自定义报告器的内容,并介绍了如何使用此报告器来跟踪用户自己的应用。
Uber在其最大的Spark应用之一上使用了JVM Profiler,并发现这样可以在每个执行器上节约2GB的内存的分配——由原先的7GB降到了5GB。仅在这个应用上,JVM Profiler就可以为Uber节约2TB的内存。
JVM Profiler的GitHub项目地址为: https://github.com/uber-common/jvm-profiler 。欢迎大家下载学习!
查看英文原文: Uber Open Sources JVM Profiler for Tracing Distributed JVMs
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Docker用以提高Linux内核安全性的三大热点技术
- php – woocommerce自定义结帐字段添加费用以订购ajax
- 使用以 Tensorflow 为后端的 Keras 构建生成对抗网络的代码示例
- shell-operator的发布用以简化Kubernetes operator的创建
- Micronaut for Spring 支持 Spring Boot 应用以 Micronaut 形式运行
- 分布式锁原理——redis分布式锁,zookeeper分布式锁
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
现代信息检索
(西班牙) Ricardo Baeza-Yates、(巴西)Berthier Ribeiro-Neto / 机械工业出版社 / 2011-3 / 78.00元
本书不仅详细介绍了信息检索的所有主要概念和技术,以及有关信息检索面的所有新变化,而且其组织使读者既可以对现代信息检索有一个全面的了解,又可以获取现代信息检索所有关键主题的详细知识。本书的主要内容由信息检索领域的代表人物Baeza-Yates和Ribeiro-Neto编写,对于那些希望深入研究关键领域的读者,书中还提供了由其他主要研究人员编写的关于特殊主题的发展现状。 与上一版相比,本版在内容......一起来看看 《现代信息检索》 这本书的介绍吧!