0
可视化监控爬虫
最近接到新的需求做可视化监控爬虫,搞了3个小时终于成了。。。
- 环境搭建
我是在windows下搭建的环境,在这里只说windows
InfluxDb ,是目前比较流行的时间序列数据库;
下载地址:https://dl.influxdata.com/influxdb/releases/influxdb-1.7.6_windows_amd64.zip
安装:解压安装即可,目前的配置文件去掉了admin可视化配置。
可视化配置:要使用web管理需要下载Chronograf, https://portal.influxdata.com... ,下载完直接解压,双击exe程序,在浏览器输入 http://localhost :8888/,一开始登录要账户密码,我都用admin就进去了
Grafana ,一个可视化面板(Dashboard),有着非常漂亮的图表和布局展示,功能齐全的度量仪表盘和图形编辑器,支持Graphite、zabbix、 InfluxDB、Prometheus和OpenTSDB作为数据源
下载地址: Download the zip file
安装:该zip文件包含一个包含当前Grafana版本的文件夹。将此文件夹解压缩到您希望Grafana运行的任何位置。进入conf目录并复制sample.ini到custom.ini。你应该编辑custom.ini,永远不要defaults.ini。默认的Grafana端口是3000,此端口需要Windows上的额外权限。编辑custom.ini和取消注释http_port配置选项(;是ini文件中的注释字符)并将其更改为类似8080或类似的内容。该端口不应该需要额外的Windows权限。 http://127.0.0.1 :3000即可启动,默认登录名和密码admin/admin
influxdb (pip install influxdb)
Python 3.6
代码:(借用崔庆才老师的代码:链接:https://cuiqingcai.com/6217.html
) - 最后结果 ;
- 意外发现
influxdb的可视化界面chronograf也呈现出了监控结果。
你可能感兴趣的
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Python实现数据可视化,看如何监控你的爬虫
- BigDataGumi 一期小记 – 浅尝爬虫数据抓取和简单可视化分析 (PySpider)
- R爬虫&可视化第五季-图解欧洲足球五大联赛
- 利用Python网络爬虫抓取微信好友的签名及其可视化展示
- cdfang-spider:成都房协网爬虫,可视化数据分析
- 微博 Qzone 微信 利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
深入理解Nginx
陶辉 / 机械工业出版社 / 2013-4-15 / 89.00元
本书是阿里巴巴资深Nginx技术专家呕心沥血之作,是作者多年的经验结晶,也是目前市场上唯一一本通过还原Nginx设计思想,剖析Nginx架构来帮助读者快速高效开发HTTP模块的图书。 本书首先通过介绍官方Nginx的基本用法和配置规则,帮助读者了解一般Nginx模块的用法,然后重点介绍如何开发HTTP模块(含HTTP过滤模块)来得到定制的Nginx,其中包括开发一个功能复杂的模块所需要了解的......一起来看看 《深入理解Nginx》 这本书的介绍吧!