系统监控：top vs Htop vs Glances

栏目: 后端 · 发布时间: 6年前

内容简介：在开发软件或监控运行的系统时，遥测和环境监测都很重要。在理解了历史情境下什么是正常行为之后，通常两个最紧迫的问题是：（1）什么发生了变化？（2）什么表现出异常？本文将介绍三个用于临时监控的流行工具，以及一种用于监控分布式系统的简单解决方案。在几乎任何类UNIX的现代操作系统中，您都可以通过输入top来查看一些系统性能指标，这些指标每几秒钟更新一次。

在开发软件或监控运行的系统时，遥测和环境监测都很重要。在理解了历史情境下什么是正常行为之后，通常两个最紧迫的问题是：（1）什么发生了变化？（2）什么表现出异常？

本文将介绍三个用于临时监控的流行工具，以及一种用于监控分布式系统的简单解决方案。

top

在几乎任何类UNIX的现代操作系统中，您都可以通过输入top来查看一些系统性能指标，这些指标每几秒钟更新一次。

$ top -b -n2 -d5

top - 09:43:05 up  1:08,  0 users,  load average: 0.52, 0.58, 0.59
Tasks:   4 total,   1 running,   3 sleeping,   0 stopped,   0 zombie
%Cpu0  :  4.1 us, 22.2 sy,  0.0 ni, 72.3 id,  0.0 wa,  1.4 hi,  0.0 si,  0.0 st
%Cpu1  :  4.3 us,  7.1 sy,  0.0 ni, 87.7 id,  0.0 wa,  0.9 hi,  0.0 si,  0.0 st
%Cpu2  :  4.4 us,  9.0 sy,  0.0 ni, 85.3 id,  0.0 wa,  1.2 hi,  0.0 si,  0.0 st
%Cpu3  :  3.6 us,  6.7 sy,  0.0 ni, 88.6 id,  0.0 wa,  1.0 hi,  0.0 si,  0.0 st
KiB Mem:  33431016 total,  9521052 used, 23909964 free,    34032 buffers
KiB Swap: 62455548 total,    27064 used, 62428484 free.   188576 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
    1 root      20   0    8304    132    104 S   0.0  0.0   0:00.14 /init ro
    3 root      20   0    8308     96     56 S   0.0  0.0   0:00.00 /init ro
    4 mark      20   0   17856   5308   5192 S   0.0  0.0   0:00.35 -bash
  228 mark      20   0   14452   1668   1172 R   0.0  0.0   0:00.01 top -b -n2 -d5

其二进制执行过程与Comcast公司的James Warner编写的top版本最相似。这个版本的top是全新的，并且是作为由包括Lockheed Martin and Heidelberg University在内的各个组织开发人员的合写版本的替代品开发而成的。

top.c源代码本身相当简单，在撰写本文时，总共有约4900 行C代码。目前top仍然处于开发过程中，其源代码可以在GitLab的 procps 仓库找到。该仓库中还包含其他工具，包括kill、ps、sysctl、uptime和watch。

其默认布局一直没有改变过。但是通过过去几十年与UNIX系统打交道，每次在一台新机器上使用top，我都会习惯性地输入zc1M。

top默认采用单色显示模式，使用z将切换至指定颜色模式。数字1将显示单个CPU的状态，并且能够突出显示单个CPU核的负载。我喜欢输入M，以查看基于内存容量使用压力排序后的各进程信息。top总共提供了49个供查看和排序的指标。

默认情况下，命令会截断显示，输入c会显示有关其路径和参数的更多扩展信息。我唯一不满意的是命令和参数被截断了。如果只保留每条命令和参数的开头与结尾，以便区分不同进程，会更加实用。

top配置的更改只会在当前session有效。为了解决这个问题，输入大写的W会默认将当前配置保存到~/.toprc中。我对该文件唯一不满的地方是，它包含了大于0x7F的字节值，因而不易在top之外对其进行更改。

$ hexdump -C ~/.toprc | head

00000000  74 6f 70 27 73 20 43 6f  6e 66 69 67 20 46 69 6c  |top's Config Fil|
00000010  65 20 28 4c 69 6e 75 78  20 70 72 6f 63 65 73 73  |e (Linux process|
00000020  65 73 20 77 69 74 68 20  77 69 6e 64 6f 77 73 29  |es with windows)|
00000030  0a 49 64 3a 69 2c 20 4d  6f 64 65 5f 61 6c 74 73  |.Id:i, Mode_alts|
00000040  63 72 3d 30 2c 20 4d 6f  64 65 5f 69 72 69 78 70  |cr=0, Mode_irixp|
00000050  73 3d 31 2c 20 44 65 6c  61 79 5f 74 69 6d 65 3d  |s=1, Delay_time=|
00000060  33 2e 30 2c 20 43 75 72  77 69 6e 3d 30 0a 44 65  |3.0, Curwin=0.De|
00000070  66 09 66 69 65 6c 64 73  63 75 72 3d a5 a8 b3 b4  |f.fieldscur=....|
00000080  bb bd c0 c4 b7 ba b9 c5  26 27 29 2a 2b 2c 2d 2e  |........&')*+,-.|
00000090  2f 30 31 32 35 36 38 3c  3e 3f 41 42 43 46 47 48  |/012568<>?ABCFGH|

Htop

2004年， Hisham Muhammad 开始致力于创建一个截然不同的系统遥测监控工具。Htop关注遥测显示的重新布局：使用条形图展示CPU和内存的关键指标；使用F5快捷键，使进程信息在扁平化列表和层次结构之间切换显示；通过鼠标点击，可以实现属性排序；并且支持7种不同的颜色模式。

该软件能够很好地使您停留在应用当中。如果您想要查看一个进程使用的文件，您可以选择该进程，并只需输入l；如果您想要通过strace运行该进程，在以授权用户身份运行htop的情况下，只需输入s。

在Ubuntu 16.04.2 LTS上安装和运行htop：

$ sudo apt install htop
$ htop

1  [                                         0.0%]   Tasks: 37, 145 thr; 1 running
 2  [                                         0.0%]   Load average: 0.03 0.05 0.07
 3  [                                         0.0%]   Uptime: 01:31:42
 4  [                                         0.0%]
 Mem[||||||||||||||||||||||||||||||||  1.03G/3.84G]
 Swp[                                     0K/4.00G]

  PID USER      PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
    1 root       20   0 37556  5668  4004 S  0.0  0.1  0:03.03 /sbin/init noprompt
27884 clickhous  20   0 3716M  359M 49184 S  0.7  9.1  0:24.93 ├─ /usr/bin/clickhouse-server --config=/etc/cli
29668 clickhous  20   0 3716M  359M 49184 S  0.0  9.1  0:00.10 │  ├─ /usr/bin/clickhouse-server --config=/etc/
29667 clickhous  20   0 3716M  359M 49184 S  0.0  9.1  0:01.02 │  ├─ /usr/bin/clickhouse-server --config=/etc/
29666 clickhous  20   0 3716M  359M 49184 S  0.0  9.1  0:00.08 │  ├─ /usr/bin/clickhouse-server --config=/etc/
29665 clickhous  20   0 3716M  359M 49184 S  0.0  9.1  0:00.48 │  ├─ /usr/bin/clickhouse-server --config=/etc/
29409 clickhous  20   0 3716M  359M 49184 S  0.0  9.1  0:03.48 │  ├─ /usr/bin/clickhouse-server --config=/etc/
29408 clickhous  20   0 3716M  359M 49184 S  0.0  9.1  0:02.15 │  ├─ /usr/bin/clickhouse-server --config=/etc/

至于配置方面，使用该软件的过程中，任何配置修改都会默认自动保存至~/.config/htop/htoprc。该文件是个文本文件，但是附有下面的警告：

$ head -n2 ~/.config/htop/htoprc

# Beware! This file is rewritten by htop when settings are changed in the interface.
# The parser is also very primitive, and not human-friendly.

鉴于其提供的功能比较简单，它的源代码量还是相当小的。在撰写本文时，它总共有约12000行C代码，同时还包含约3000行代码的其他文件。

Glances

Glances 是一个基于 Python 的系统遥测监控工具。该项目由Nicolas Hennion于2011年开始创建。Nilcolas的领英简介显示，他在法国南部的Thales Alenia Space卫星控制中心部门担任项目经理。

当启动Glances时，除了常见的CPU、内存和进程列表，您还将看到云虚拟机类型以及网络、硬盘、和 Docker 容器活动等等。

$ glances

ubuntu (Ubuntu 16.04 64bit / Linux 4.4.0-62-generic)                                            Uptime: 18:55:00

CPU  [  1.7%]   CPU -     1.7%  nice:     0.0%  ctx_sw:   923   MEM -   53.1%   SWAP -    0.1%   LOAD    4-core
MEM  [ 53.1%]   user:     0.8%  irq:      0.0%  inter:    587   total:  3.84G   total:   4.00G   1 min:    0.20
SWAP [  0.1%]   system:   0.7%  iowait:   0.0%  sw_int:   786   used:   2.04G   used:    3.27M   5 min:    0.14
                idle:    98.4%  steal:    0.0%                  free:   1.80G   free:    3.99G   15 min:   0.10

NETWORK       Rx/s   Tx/s   TASKS 203 (349 thr), 1 run, 202 slp, 0 oth sorted automatically by CPU consumption
ens33         152b    3Kb
lo            59Kb   59Kb   CPU%   MEM%  VIRT  RES      PID USER          TIME+ THR  NI S  R/s W/s  Command
                            2.6    4.5   524M  178M   16470 mark          35:48 1     0 S    0 0    /home/mark/.
DISK I/O       R/s    W/s   2.3    0.6   372M  24.5M  14672 mark           0:01 1     0 R    0 0    /home/mark/.
fd0              0      0   1.0    23.7  5.42G 931M   21151 root          13:00 71    0 S    ? ?    java -Xmx1G
loop0            0      0   0.7    9.8   3.71G 385M   27884 clickhous      5:29 46    0 S    ? ?    /usr/bin/cli
loop1            0      0   0.3    2.8   3.53G 109M   12883 zookeeper      1:36 20    0 S    ? ?    /usr/bin/jav
loop2            0      0   0.3    0.2   31.4M 6.80M    333 root           0:53 1     0 S    ? ?    /lib/systemd
loop3            0      0   0.3    0.1   13.8M 2.68M   4353 mark           1:07 1     0 S    0 0    watch ifconf
loop4            0      0   0.0    0.3   186M  9.86M   1447 root           0:35 2     0 S    ? ?    /usr/bin/vmt
loop5            0      0   0.0    0.2   75.2M 8.11M   1470 root           0:00 1     0 S    ? ?    /usr/bin/VGA
loop6            0      0   0.0    0.2   90.6M 6.59M   4381 root           0:00 1     0 S    ? ?    sshd: mark [
loop7            0      0   0.0    0.1   269M  5.75M    595 root           0:13 3     0 S    ? ?    /usr/lib/acc
sda              0    78K   0.0    0.1   36.7M 5.37M      1 root           0:37 1     0 S    ? ?    /sbin/init n
sda1             0    78K   0.0    0.1   64.0M 5.31M   4246 root           0:00 1     0 S    ? ?    /usr/sbin/ss
sda2             0      0   0.0    0.1   44.3M 5.05M   3402 mark           0:00 1     0 S    0 0    /lib/systemd
sda5             0      0   0.0    0.1   21.8M 5.04M   4403 mark          27:23 1     0 S    0 0    -bash
sr0              0      0   0.0    0.1   21.8M 4.93M  21493 mark           0:10 1     0 S    0 0    /bin/bash
sr1              0      0   0.0    0.1   21.7M 4.62M  16114 mark           0:03 1     0 S    0 0    /bin/bash
                            0.0    0.1   21.7M 4.47M  21119 mark           0:00 1     0 S    0 0    /bin/bash
FILE SYS      Used  Total   0.0    0.1   90.6M 4.14M   4402 mark           0:08 1     0 S    ? ?    0
/ (sda1)     2.48G  15.6G   0.0    0.1   250M  3.97M    588 syslog         0:28 4     0 S    ? ?    /usr/sbin/rs
                            0.0    0.1   21.8M 3.87M   3407 mark           0:04 1     0 S    0 0    -bash
SENSORS                     0.0    0.1   51.5M 3.76M  21144 root           0:00 1     0 S    ? ?    sudo nohup /
Physical id          100C   0.0    0.1   41.9M 3.64M    597 messagebu      0:00 1     0 S    ? ?    /usr/bin/dbu
Core 0               100C   0.0    0.1   43.2M 3.45M    396 root           0:01 1     0 S    ? ?    /lib/systemd
Core 1               100C   0.0    0.1   64.3M 3.21M   3377 root           0:00 1     0 S    ? ?    /bin/login -
Core 2               100C   0.0    0.1   28.0M 2.91M    592 root           0:00 1     0 S    ? ?    /lib/systemd
Core 3               100C   0.0    0.1   26.7M 2.86M  16113 mark           0:06 1     0 S    ? ?    SCREEN
                            0.0    0.1   15.7M 2.81M    774 root           0:00 1     0 S    ? ?    /sbin/dhclie

Glances由约1万行Python代码和约2.5万行JavaScript代码写成，并依赖于 psutil 软件包以用于遥测数据收集。它还含有大量插件，包括支持监控GPU、Kafka、RAID设置、文件夹监控以及WiFi等等。

除了基于 ncurses 的界面，Glances也能以Web应用的形式运行。当您在Windows 10上通过cmd.exe运行Glances的时候，将启动一个运行在TCP端口为61209的 Bottle Web应用。在浏览器中打开http://127.0.0.1:61209，您会看到一个AngularJS应用程序的欢迎页面。该页面模仿了ncurses界面。

您也可以通过调用其暴露的API接口，配合其他工具使用：

$ curl http://127.0.0.1:61209/api/3/all \
    | python -mjson.tool \
    | head -n50
{
    "alert": [],
    "amps": [],
    "batpercent": [],
    "cloud": {},
    "core": {
        "log": 4,
        "phys": 4
    },
    "cpu": {
        "cpucore": 4,
        "ctx_switches": 182358,
        "idle": 82.9,
        "interrupts": 113134,
        "soft_interrupts": 0,
        "syscalls": 215848,
        "system": 12.5,
        "time_since_update": 8.532670974731445,
        "total": 9.8,
        "user": 3.1
    },
    "diskio": [
        {
            "disk_name": "PhysicalDrive6",
            "key": "disk_name",
            "read_bytes": 0,
            "read_count": 0,
            "time_since_update": 8.492774963378906,
            "write_bytes": 0,
            "write_count": 0
        },
        {
            "disk_name": "PhysicalDrive2",
            "key": "disk_name",
            "read_bytes": 0,
            "read_count": 0,
            "time_since_update": 8.492774963378906,
            "write_bytes": 0,
            "write_count": 0
        },
...

虽然默认的配置文件有些冗长，但是用户编辑起来还算方便。

Glances还支持将遥测数据导出到16个以上不同的目标文件中，包括StatsD、Kafka、RabbitMQ、JSON、SVG、ElasticSearch、CSV以及自定义RESTful API。

将Glances导入Kafka

以下将介绍将遥测数据导入CSV文件，再导入 Kafka 。我认为本地硬盘通常要比网络连接更靠谱。当网络连接出现问题的时候，我们还可以利用本地文件再次回填Kafka。

以下命令运行在新安装的Ubuntu 16.04.2 LTS上：

$ sudo apt update
$ sudo apt install \
    kafkacat \
    python-pip \
    python-virtualenv \
    screen \
    zookeeperd

使用Apache镜像上的二进制包，手动安装Kafka：

$ sudo mkdir -p /opt/kafka
$ wget -c -O kafka.tgz \
    http://www-eu.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz
$ sudo tar xzvf kafka.tgz \
    --directory=/opt/kafka \
    --strip 1

为Kafka创建日志文件，其权限使用我的UNIX账号：

$ sudo touch /var/log/kafka.log
$ sudo chown mark /var/log/kafka.log

ZooKeeper 支持了Kafka的大多数分布式功能，以下命令将启动ZooKeeper服务：

$ sudo /etc/init.d/zookeeper start

启动完ZooKeeper，启动Kafka服务器进程：

$ sudo nohup /opt/kafka/bin/kafka-server-start.sh \
             /opt/kafka/config/server.properties \
             > /var/log/kafka.log 2>&1 &

创建Python虚拟环境，并安装Glances以及CSVKit，以便分析Glances的CSV文件输出：

$ virtualenv ~/.monitoring
$ source ~/.monitoring/bin/activate
$ pip install \
    csvkit \
    glances

接着，启动screen会话和Glances。它将显示ncurses界面，并向~/glances.csv中写入215条数据：

$ screen
$ glances --export csv \
          --export-csv-file ~/glances.csv

一旦运行起来，按CTRL-A，接着按CTRL-D，返回到常规的 Shell 界面。

如下所示，这里有大量收集到的遥测数据：

$ csvstat --type ~/glances.csv | tail

206. mem_available: Number
207. mem_used: Number
208. mem_cached: Number
209. mem_percent: Number
210. mem_free: Number
211. mem_inactive: Number
212. mem_active: Number
213. mem_shared: Number
214. mem_total: Number
215. mem_buffers: Number

Kafkacat 是采用 C语言写的一个非JVM的Kafka生产者和消费者。静态链接的包大小要小于150KB。使用它，将~/glances.csv中的内容导入Kafka Topic “glances_log”中，并对内容进行 Snappy 压缩。

$ screen
$ tail -F ~/glances.csv \
    | kafkacat -b localhost:9092 \
               -t glances_log \
               -z snappy

接下来，一旦运行起来，按CTRL-A，然后按CTRL-D，返回到常规Shell界面。

以上这些运行在screen会话中的任何命令，都可以方便地添加到 Supervisord 。另外，如果这些进程因为任何原因挂了，都能很好地重启它们。

完成上述操作之后，查看前100条记录的前三列数据：

$ /opt/kafka/bin/kafka-console-consumer.sh \
        --topic glances_log \
        --from-beginning \
        --zookeeper localhost:2181 \
    | head -n100 \
    | csvstat --columns 1-3 \
              --no-header-row

以下是基于前100条记录，收集到的时间戳、CPU核数以及一分钟负载均值的统计信息：

1. "a"

      Type of data:          DateTime
      Contains null values:  False
      Unique values:         100
      Smallest value:        2018-10-07 05:53:49
      Largest value:         2018-10-07 05:58:55
      Most common values:    2018-10-07 05:53:49 (1x)
                             2018-10-07 05:53:52 (1x)
                             2018-10-07 05:53:55 (1x)
                             2018-10-07 05:53:58 (1x)
                             2018-10-07 05:54:01 (1x)

2. "b"

      Type of data:          Number
      Contains null values:  False
      Unique values:         1
      Smallest value:        4
      Largest value:         4
      Sum:                   400
      Mean:                  4
      Median:                4
      StDev:                 0
      Most common values:    4 (100x)

3. "c"

      Type of data:          Number
      Contains null values:  False
      Unique values:         18
      Smallest value:        0.02
      Largest value:         0.22
      Sum:                   6.57
      Mean:                  0.066
      Median:                0.05
      StDev:                 0.045
      Most common values:    0.04 (15x)
                             0.02 (14x)
                             0.03 (13x)
                             0.06 (9x)
                             0.05 (9x)

英文原文： http://tech.marksblogg.com/top-htop-glances.html

感谢小大非对本文的审校。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

从零开始学创业大全集

阳飞扬 / 中国华侨出版社 / 2011-10-1 / 29.80元

为了让每一个怀揣梦想走上创业之路的有志者能在最短的时间内叩开创业的大门，了解创业的流程和方法，从而找到适合自己的创业之路，我们精心编写了这本《从零开始学创业大全集》。阳飞扬编著的《从零开始学创业大全集（超值白金版）》从创业准备、创业团队的组建、创业项目和商业模式的选择、创业计划书的制作、创业资金的筹集、企业的经营策略、资本运作以及产品营销方法、危机应对策略等方面，全面系统地阐述了创业的基本理论与实......一起来看看《从零开始学创业大全集》这本书的介绍吧!

码农工具

系统监控：top vs Htop vs Glances

top

Htop

Glances

将Glances导入Kafka

从零开始学创业大全集

SHA 加密

Markdown 在线编辑器

UNIX 时间戳转换