Uber开源JVM Profiler,用以跟踪分布式Java虚拟机

栏目: Java · 发布时间: 6年前

内容简介:6月下旬,Uber开源了一个分布式性能分析器,名为Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下,同一台服务器中会运行很多Spark应用,而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵,而无法对单一应用进行监控。他们需要一个解决方案,使得对每个进程都可以收集其相关性矩阵,并对每个应用进行跨进程的相关性分析。JVM Profiler有三个主要特性,可以简化对性能和资源使用状况矩阵的收集,然后将收集到的信息发布给其他系统(如Apa

6月下旬,Uber开源了一个分布式性能分析器,名为 JVM Profiler 。Uber搭建这一 工具 的目的是解决他们在使用Apache Spark框架过程中的资源配置问题。Apache Spark是一个非常流行的框架,主要用于处理大型数据流问题,这正是Uber所需要的。JVM Profiler是为Spark而建的,但它也可以被应用于任何基于JVM的服务或应用。

Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下,同一台服务器中会运行很多Spark应用,而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵,而无法对单一应用进行监控。他们需要一个解决方案,使得对每个进程都可以收集其相关性矩阵,并对每个应用进行跨进程的相关性分析。

JVM Profiler有三个主要特性,可以简化对性能和资源使用状况矩阵的收集,然后将收集到的信息发布给其他系统(如Apache Kafka)用以进一步分析。

  1. Java Agent :可以以分布式的形式在JVM进程上收集矩阵。
  2. 高级性能分析能力 :可跟踪任意方法和参数,而无需对代码进行任何修改。可以识别Spark应用中耗时较长的方法调用,并检测HDFS文件路径中的热文件。
  3. 数据分析报告 :可以通过Kafka topic和Apache Hive更快地进行数据分析。

JVM Profiler的设计很简单,但扩展性很强。用户可以自行添加其他的profiler实现,以收集更多的矩阵。这样,用户便可以添加自己的矩阵发布报告。

Uber开源JVM Profiler,用以跟踪分布式 <a href='https://www.codercto.com/topics/22013.html'>Java</a> 虚拟机

Uber关于JVM Profiler的博客 中还包含了有关如何添加自定义报告器的内容,并介绍了如何使用此报告器来跟踪用户自己的应用。

Uber在其最大的Spark应用之一上使用了JVM Profiler,并发现这样可以在每个执行器上节约2GB的内存的分配——由原先的7GB降到了5GB。仅在这个应用上,JVM Profiler就可以为Uber节约2TB的内存。

Uber开源JVM Profiler,用以跟踪分布式Java虚拟机

JVM Profiler的GitHub项目地址为: https://github.com/uber-common/jvm-profiler 。欢迎大家下载学习!

查看英文原文: Uber Open Sources JVM Profiler for Tracing Distributed JVMs


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

浪潮之巅(第三版)(上下册)

浪潮之巅(第三版)(上下册)

吴军 / 人民邮电出版社 / 2016-5 / 99.00元

一个企业的发展与崛起,绝非只是空有领导强人即可达成。任何的决策、同期的商业环境,都在都影响着企业的兴衰。《浪潮之巅》不只是一本历史书,除了讲述科技顶尖企业的发展规律,对于华尔街如何左右科技公司,以及金融风暴对科技产业的冲击,也多有着墨。此外,这本书也着力讲述很多尚在普及 或将要发生的,比如微博和云计算,以及对下一代互联网科技产业浪潮的判断和预测。因为在极度商业化的今天,科技的进步和商机是分不开的。......一起来看看 《浪潮之巅(第三版)(上下册)》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具