python http长连接客户端

内容简介：python http长连接客户端

背景：

线上机器，需要过滤access日志，发送给另外一个api

期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）

总之就是端口不够用了报错

原因：

每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口

这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题

第一版短连接版本关键代码如下

因涉及具体业务信息，只贴出了关键部分代码

import pycurl
where True:
  url=myqueue.get()
  send_msg=pycurl.Curl()
  send_msg.setopt(pycurl.URL,url)
  send_msg.perform()
  print send_msg.getinfo(send_msg.HTTP_CODE)

修改后长连接版本如下：

采用requests库

import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
  url=myqueue.get()
  r=client.get(url,headers=headers)
  print r.status_code

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 查看ceph集群被哪些客户端连接
• 查看ceph集群被哪些客户端连接
• 几个连接HiveServer的客户端界面工具
• 几个连接HiveServer的客户端界面工具
• 有一个Ceph客户端来连接Windows系统吗？
• Redis 5.0 Cluster集群带认证及客户端连接

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。