MQ-消息堆积-一条SQL阻塞了整个服务线程案例分析
我要评论业务背景
业务中某个应用在消费MQ的消息线程时候，出现部分机器消息堆积，堆积随着时间推移，阻塞整堆积的服务分析机器数量越来越多，消息的案例堆积总量越来越多。
问题现象
系统监控CPU、消息线程Load、堆积内存、阻塞整网络、服务分析磁盘监控指标正常；JVM 内存、案例GC正常。消息线程
MQ监控
图1 消费者状态
分析过程MQ消息堆积最常见的堆积情况是：应用侧处理MQ消息比较慢，触发了MQ的阻塞整流控机制（MQ在统计到应用消费慢的时候，会逐步减少给应用侧的服务分析消息，最糟糕的案例情况是MQ一条消息也不会发给应用来消费）。
接下来的思路是免费源码下载慢在了哪？
在业务监控完备的情况下，通过分析业务监控指标，可以粗略定位异常点
明确运行的程序在忙些什么，分析线程堆栈信息
堆栈信息
图2 堆栈信息
上面图片中，TID=562的线程正在read Oracle返回的信息。经过观测，TID=562的线程一直处于上面图片中的状态。由于上面图片中的堆栈信息不完整，所以使用jstack抓取后分析出一个关键信息：
复制locked oracle.jdbc.driver.T4CConnection@31c02e791. T4CConnection分析【oracle.jdbc.driver.T4CConnection@31c02e79】是与Oracle交互的数据库连接对象，需要分析出
该连接对象对应的socket信息
该连接对象正在执行的SQL
该连接对象关联的statements对象信息
T4CConnection信息
图3 T4CConnection
Socket信息
图4 与数据连接的Socket信息
获取到Socket信息进行了如下几个方面的分析：该Socket与Oracle服务端交互情况:
图5 与数据连接的TCP连接信息
复制//通过tcpdump分析与Oracle服务端交互的报文，b2b供应网发现该连接上没有任何报文交互
tcpdump -i any tcp and port 45556 -A -nn1.2.问：与Oracle DBA确认该Socket在服务端正在执行什么SQL？答：没找到任何关于该Socket的信息
SQL信息通过分析oracle.jdbc.driver.T4CConnection类代码及【oracle.jdbc.driver.T4CConnection@31c02e79】属性信息找到了正在执行的SQL及与该连接关联的statements信息：SQL:
图6 SQL
statements:
图7 SQL参数值
到此，我们分析出了引起线程阻塞的SQL详情。
解决办法对参数是null的情况进行过滤，不再向Oracle发送这样的SQL语句；同时日志里对这种异常情况进行记录，以便更细致地分析数据为null的产生场景。
加强应用可观测性之线程执行耗时监控○ 在业务逻辑开始的前面，添加一个filter○ 当请求到达filter的时候，将当前线程及此时的时间记录到一个Map中○ 当请求结束回到filter的时候，将当前线程从Map中删除○ 单独起一个定时任务来遍历Map，当发现Map中某个线程执行时间超过阈值，就打印出线程的堆栈○ 当开发人员收到异常堆栈的报警，人工介入进行系统恢复及问题快速定位。亿华云
相关文章
解决电脑显示AHCI端口错误的方法（诊断和修复AHCI端口错误，让电脑恢复正常运行）
摘要：在使用电脑过程中，可能会遇到AHCIAdvancedHostControllerInterface）端口错误的情况。AHCI是一种用于连接存储设备的接口标准，当出现AHCI端口错...2025-11-05
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态Session存储），加速一些热数据的查询相比较mysql而言，速度有数量级的2025-11-05
2021可以投资cc域名吗?说起cc域名，名气虽不及com/cn后缀域名，但却凭借品相，积攒了不错的群众基础，深得米农青睐。尤其近日，cc域名市场大热，两声母cc域名频频高价成交，价值高达数十万元，惹2025-11-05
四字母域名的价值的价值还高吗?近日看到一则消息，四字母域名Yade.com再次易主，其成交价格未知。不过这个四字母域名在今年2月份曾以5.85万元结拍。此次交易虽未公布价格，但是也可以推断此次的交易价2025-11-05
我想很多人都试过装双系统，windows系统在重装的时候总是把MBR重写了，重装windows后无法找到ubuntu的引导。恢复引导其实也很简单，找个ubuntu的安装盘，从安装盘启动，试用ubunt2025-11-05单数字8.top被曝七位数交易?决定域名买卖价格的因素有哪些?
域名买卖价格高不高?决定域名买卖价格高低的因素有哪些?俗话说：物以稀为贵，同理在域名行业也是一个道理。近日，小编就得到一个消息，单数字域名8.top被曝交易，价格高达七位数。为什么8.top价格这么高2025-11-05
最新评论