内容简介：6月下旬，Uber开源了一个分布式性能分析器，名为Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下，同一台服务器中会运行很多Spark应用，而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵，而无法对单一应用进行监控。他们需要一个解决方案，使得对每个进程都可以收集其相关性矩阵，并对每个应用进行跨进程的相关性分析。JVM Profiler有三个主要特性，可以简化对性能和资源使用状况矩阵的收集，然后将收集到的信息发布给其他系统（如Apa
6月下旬，Uber开源了一个分布式性能分析器，名为 JVM Profiler 。Uber搭建这一 工具 的目的是解决他们在使用Apache Spark框架过程中的资源配置问题。Apache Spark是一个非常流行的框架，主要用于处理大型数据流问题，这正是Uber所需要的。JVM Profiler是为Spark而建的，但它也可以被应用于任何基于JVM的服务或应用。
Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下，同一台服务器中会运行很多Spark应用，而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵，而无法对单一应用进行监控。他们需要一个解决方案，使得对每个进程都可以收集其相关性矩阵，并对每个应用进行跨进程的相关性分析。
JVM Profiler有三个主要特性，可以简化对性能和资源使用状况矩阵的收集，然后将收集到的信息发布给其他系统（如Apache Kafka）用以进一步分析。
- Java Agent ：可以以分布式的形式在JVM进程上收集矩阵。
- 高级性能分析能力 ：可跟踪任意方法和参数，而无需对代码进行任何修改。可以识别Spark应用中耗时较长的方法调用，并检测HDFS文件路径中的热文件。
- 数据分析报告 ：可以通过Kafka topic和Apache Hive更快地进行数据分析。
JVM Profiler的设计很简单，但扩展性很强。用户可以自行添加其他的profiler实现，以收集更多的矩阵。这样，用户便可以添加自己的矩阵发布报告。
Uber关于JVM Profiler的博客 中还包含了有关如何添加自定义报告器的内容，并介绍了如何使用此报告器来跟踪用户自己的应用。
Uber在其最大的Spark应用之一上使用了JVM Profiler，并发现这样可以在每个执行器上节约2GB的内存的分配——由原先的7GB降到了5GB。仅在这个应用上，JVM Profiler就可以为Uber节约2TB的内存。
JVM Profiler的GitHub项目地址为： https://github.com/uber-common/jvm-profiler 。欢迎大家下载学习！
查看英文原文： Uber Open Sources JVM Profiler for Tracing Distributed JVMs
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- Docker用以提高Linux内核安全性的三大热点技术
- php – woocommerce自定义结帐字段添加费用以订购ajax
- 使用以 Tensorflow 为后端的 Keras 构建生成对抗网络的代码示例
- shell-operator的发布用以简化Kubernetes operator的创建
- Micronaut for Spring 支持 Spring Boot 应用以 Micronaut 形式运行
- 分布式锁原理——redis分布式锁，zookeeper分布式锁
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
删除
[英] 维克托•迈尔-舍恩伯格（Viktor Mayer-Schönberger）著 / 袁杰 译 / 浙江人民出版社 / 2013-1 / 49.90元
《删除》讲述了遗忘的美德，为读者展现了大数据时代的取舍之道。 《删除》从大数据时代信息取舍的目的和方法分别诠释了“被遗忘的权利”。维克托首先回溯了人类追寻记忆的过程，之后提出数字技术与全球网络正在瓦解我们天生的遗忘能力。对此，他考察了促进遗忘终止4大驱动力——数字化，廉价的存储器，易于提取，全球性访问。之后，他提出了当前数字化记忆的两大威胁——信息权力与时间，并给出了应对威胁的6大对策——数......一起来看看 《删除》 这本书的介绍吧!
