内容简介:前段时间收到运维反馈,线上Mysql数据库凌晨时候出现慢查询的报警,并把原始sql发了过来:表数据量200W左右,不是很大,而且是根据主键更新。我看到sql后第一反应就是是不是数据库出问题了,每个小时都有业务,偏偏白天业务高峰时间段正常,凌晨业务量很少时候出问题,让运维先检查了数据库的状态,反馈是数据库正常。
背景
前段时间收到运维反馈,线上 Mysql 数据库凌晨时候出现慢查询的报警,并把原始 sql 发了过来:
--去除了业务含义的sql update test_user set a=1 where id=1;
表数据量200W左右,不是很大,而且是根据主键更新。
问题排查
- 排查Mysql数据库
我看到sql后第一反应就是是不是数据库出问题了,每个小时都有业务,偏偏白天业务高峰时间段正常,凌晨业务量很少时候出问题,让运维先检查了数据库的状态,反馈是数据库正常。
- 排查业务代码(第一次)
这块业务代码比较复杂,而且是别人写的,第一次看都没看完,直接在代码里打印了各个模块执行的时间,然后上线。
- 排查业务代码(第二次)
第二天又出现慢查询了,我赶紧下载了线上日志,发现整个方法执行时间很长,然后发现执行时间长的代码有几行调用其他服务的代码,使用的是HttpClient,猜到了原因,应该是调用其他超时导致的。
说下系统整体流程,微信(A)回调我们的收银台服务(B),收银台更新订单信息并调用业务服务(C)。
出问题原因是:
第一次A调用B,B锁住记录行并调用C,这个时候C没有响应,导致A又发送了第二次请求。
第二次A调用B,B更新记录时候发生死锁,出现慢查询。
解决方案
-
收银台系统B接收回调的方法添加分布式锁,保证同一时刻同一订单只能更新一次。
-
收银台调用业务服务使用的是HttpClient4.4,默认超时时间60秒,这么长时间如果对方没有响应就完了,改成了5秒,超时立马返回,不影响其他业务。
HttpClient4.4版本设置超时时间代码如下:
HttpPost httpPost = new HttpPost(url); RequestConfig.custom().setSocketTimeout(5000).setConnectTimeout(5000).setConnectionRequestTimeout(5000).build(); httpPost.setConfig(requestConfig);
上面设置了3个超时时间,含义如下:
setConnectTimeout:设置连接超时时间,单位毫秒。
setConnectionRequestTimeout:设置从connect Manager获取Connection 超时时间,单位毫秒。这个属性是新加的属性,因为目前版本是可以共享连接池的。
setSocketTimeout:请求获取数据的超时时间,单位毫秒。 如果访问一个接口,多少时间内无法返回数据,就直接放弃此次调用。
最后,按照这两个方案改造上线后,系统运行正常,问题解决。
推荐阅读
如果觉得文章不错,希望可以随手转发或者”在看“哦,非常感谢哈!
关注下方公众号后回复「1024」,有惊喜哦!
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 记录一次 MySQL 死锁排查过程
- 一个离奇的 ArrayIndexOutOfBoundsException 异常的排查过程
- 一次 Java 内存泄漏排查过程,值的一看!
- 记录一次http网络超时的排查过程
- 一次生产环境单机日志不打印的排查过程
- G1GC慢的排查过程分享
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Redis开发与运维
付磊、张益军 / 机械工业出版社 / 2017-3-1 / 89.00
本书全面讲解Redis基本功能及其应用,并结合线上开发与运维监控中的实际使用案例,深入分析并总结了实际开发运维中遇到的“陷阱”,以及背后的原因, 包含大规模集群开发与管理的场景、应用案例与开发技巧,为高效开发运维提供了大量实际经验和建议。本书不要求读者有任何Redis使用经验,对入门与进阶DevOps的开发者提供有价值的帮助。主要内容包括:Redis的安装配置、API、各种高效功能、客户端、持久化......一起来看看 《Redis开发与运维》 这本书的介绍吧!