干货丨一文学会排查数据库系统故障
yuyutoo 2024-10-21 12:13 5 浏览 0 评论
数据库系统故障将严重影响业务的正常运行。常见的数据库系统异常现象主要包括:主机CPU利用率异常、主机IO异常、数据库连接异常、数据库响应慢、数据库归档日志产生量异常。面对数据库系统异常问题,每一名合格的DBA,都应该有一套成熟的排查方法和工具。本文针对数据库运行突发变慢这一问题,向大家介绍故障的排查思路。
1. 确认系统资源状况
对于任何故障,必须先确认硬件系统的资源使用情况。sar , nmon , top 等都是很好用的工具。为什么要先检查硬件系统资源?因为,大部分的数据库问题都会影响硬件资源的利用率。比如:数据库IO变大,操作系统层面的IOWait就会变高,IOSize也会变大;数据库Active状态的会话变多,对于操作系统最直观的影响就是CPU利用率变高;资源IO突然变小,可能意味数据库层面有堵塞;系统CPU利用率突然变低,可能意味着前端堵塞,请求无法到达数据库。
作为一名DBA,在排查故障时,必须检查系统资源利用率,然后再根据资源利用率的情况,有针对性的进行下一步排查。
2. 排查硬件问题
在确定硬件资源利用率异常情况下,比如IOWait 变高,可以先检查下硬件的状况。实际上,任何的问题,都建议先检查下操作系统的日志。
PC 服务器上可能出现的会影响系统运行,但又不至于导致宕机的硬件问题主要是存储及网络故障,二者都有可能引发数据库IO变慢、数据库活动连接数变多、数据库响应慢等现象。如果发现大量的CPU在等待IO,或者出现网络超时的情况,建议先检查硬件问题。
存储故障排查过程如下:
1. 检查操作系统日志,确认是否有相关的error信息。
grep -i error /var/log/messages | grep -i ‘disk’ |
2. 如果系统是内置盘,并且有配置Raid,可以调用raid卡厂家提供的命令,检查磁盘状态,如MegaCli64命令。
3. 如果使用了多路径软件,可以检查多路径的状态。多活的多路径会轮巡使用每条路径,单条路径的损坏,会因木桶短板效应,导致整个IO变慢(路径非offline状态)。
4. 操作系统日志没有报错,并不一定表示硬件没问题,比如磁盘处于故障的临界状态,就会导致IO缓慢,但是操作系统日志可能并不会报错。如果主机的IO确实变慢,可以通过dd命令,验证磁盘的IO能力。
dd if=/dev/zero of=/dev/xxx oflag=direct --测试写IO。默认写OS cache,direct 表示跳过OS cache . dd if=/dev/xxx of=/dev/null --测试读IO 注意:使用dd命令务必要小心,不当使用,可能导致数据丢失。 |
网络故障排查过程如下:
1. 检查操作系统日志,确认是否有相关的error信息。
grep -i error /var/log/messages | egrep -i ‘up|down’ |
2. 主机网卡的故障通常会伴随up down信息,但网络堵塞或网关故障不并会显示在操作系统日志里,因此,还需要 ping 网关,确认网络是否超时。
ping -s 4096 192.168.237.1 |
硬件确认没问题后,再从数据库层面去查找问题的根源。
3. 排查数据库问题
3.1. 从数据库连接情况来判断异常
数据库的连接数会占用主机的内存资源,活动连接更会占用CPU、IO资源。数据库连接数变多可能是应用问题,比如:应用连接配置修改、业务量突增等,也可能是数据库自身响应变慢导致。从数据库连接着手来定位问题是个常见的排查问题的方法。
3.1.1. 检查数据库连接
统计各IP、应用、数据库用户的连接数,与往常的值比较,找出存在的异常。比如,结果显示特定IP连接数量异常增多,可以检查该IP所在服务器的应用连接配置、应用启停是否异常。以下SQL统计各IP、应用、用户的连接数。
select client_addr, application_name, usename, count(*) from sys_stat_activity where client_addr is not null and application_name is not null and usename is not null group by grouping sets( (client_addr), (application_name), (usename), () ) |
3.1.2. 检查会话状态
会话连接的状态主要有以下几种:
2 active:后端正在执行一个查询。
2 idle:后端正在等待一个新的客户端命令。
2 idle in transaction:后端在一个事务中,但是当前没有正在执行一个查询。
2 idle in transaction (aborted):这个状态与idle in transaction相似,不过在该事务中的一个语句导致了一个错误。
2 fastpath function call:后端正在执行一个 fast-path 函数。
2 disabled:如果在这个后端中track_activities被禁用,则报告这个状态。
这里必须关注active状态的会话。我们可以统计active状态的会话数量,通过比较历史数据,判断数据库系统的状态。active 状态的会话数量增多,可能是因为业务的繁忙,也可能是由于数据库系统发生了会话阻塞,如果是会话阻塞情况需要结合后面的等待事件进行分析。以下SQL按用户统计不同状态的会话数量。
select usename, state, count(*) from sys_stat_activity group by rollup( usename state, ) |
3.1.3. 检查耗时SQL
数据库活动连接数的增加也可能是由于SQL执行时间变长导致的。可以通过以下SQL查找当前正在执行的SQL耗时的排序。
select query, extract(epoch from now)- extract(epoch from query_start ) as execute_seconds from sys_stat_activity where state = 'active' and execute_seconds > 0 order by execute_seconds desc |
Tips:对于耗时SQL的定位,通过KWR是更好的方法。
3.2. 从阻塞情况来判断异常
用户的活动连接数增长、SQL耗时变长,在数据库现象上都会显示特定的等待事件变多。比如,大量的wait_event_type=’Lock’类型的等待事件,表示系统有大量的锁;大量的WALWrite、WALSync等待事件,表示大量数据库修改操作,或者事务commit过于频繁。通过分析等待事件,可以大致了解引发系统问题的可能原因,给解决问题一个思路。
3.2.1. 查看数据库阻塞情况
对当前数据库的等待事件进行归类,确认异常的等待事件。这里的异常要综合考虑事件、等待数量,比如:锁等待事件,零星1、2可能是正常的,但数量多的就可能有问题。
以下shell对当前的数据库等待事件进行了归类分析,可以很方便看某类等待事件的数量、正在执行的SQL等信息。
CONNSTR="dbname=${DBNAME} user=${USERNAME} host=${DBHOST} port=${DBPORT} password=${PASSWORD}" get_seswait() { ksql "${CONNSTR}" <<HERE \t on select '============================= Session Wait Start: '||current_timestamp||'=============================' from dual; select 'DAT9999'||'#'||wait_event_type||'#'||wait_event||'#'||pid||'#'||query_start||'#'|| usename||'#'||application_name||'#'||client_hostname||'#'||datname||'#'||state||'#'||query from sys_stat_activity where wait_event_type is not null and state is not null order by wait_event_type,wait_event,query,query_start; select '============================= Session Wait Done: '||current_timestamp||'=============================' from dual; \q HERE } format_output(){ grep 'Session Wait Start:' ${TMPFILE} grep '^ DAT9999' ${TMPFILE} | awk -F# 'BEGIN{ v_event=""; v_type=""; v_event_prev=""; v_type_prev=""; v_event_cnt=0; v_type_cnt=0; print " wait_event_type wait_event pid query_start"; print " usename application_name client_hostname datname state"; print " query"; print " -------------------- ------------------------------ ---------- ----------------------------------------"; print " -------------------- -------------------- -------------------- -------------------- -------------------"; print " -------------------------------------------------------------------------------------------------------" } { v_type=$2; v_event=$3; if (v_event != v_event_prev && v_event_prev != "" ) {print "\n *************** Total "v_event_cnt" of wait event "v_event_prev" ***************"; v_event_cnt=0;} if (v_type != v_type_prev && v_type_prev != "" ) {print " ############### Total "v_type_cnt" of wait event type "v_type_prev" ###############\n\n"; v_type_cnt=0;} printf " %-20s %-30s %-10s %-30s\n %-20s %-20s %-20s %-20s %-20s\n %-100s\n", $2, $3, $4, $5, $6, $7, $8, $9, $10, $11; v_event_cnt = v_event_cnt+1; v_type_cnt = v_type_cnt+1; v_event_prev = v_event; v_type_prev = v_type; } END{ print "\n *************** Total "v_event_cnt" of wait event "v_event_prev" ***************"; print " ############### Total "v_type_cnt" of wait event type "v_type_prev" ###############"; }' grep 'Session Wait Done:' ${TMPFILE} } while [ 1 ];do get_seswait 2>&1 > ${TMPFILE} format_output | tee -a $CURRDIR/kbsw_$CURRTIME.log echo -e "\n" sleep 10 done |
该脚本执行的结果如下:
3.2.2. 查看阻塞其他进程的进程
对于大部分的等待事件,只是反映当前的系统状态,而并没有堵塞会话。比如:ClientRead等待事件,只是说明会话正在进行IO,并没有相关会话堵塞。而有些等待事件,则是由于特定会话堵塞导致的。以下例子按层次显示不同会话间的堵塞关系。
该例子可以看出,会话2504是源头,堵塞了会话3065和3227,而3065又堵塞了3182。通过结束会话2504的事务,就可以解决整个堵塞的问题。
3.2.3. 查看时间段内的等待事件
视图Sys_stat_activity记录的是当前时间点的等待事件情况,有时还需要查询过去某一段时间内等待事件,这时就要查询perf.session_history。以下shell脚本查询过去60秒内等待事件。
if [ $# -eq 2 ] ; then EVENT=$1 CNT=$2 elif [ $# -eq 1 ] ; then EVENT=$1 CNT=60 else echo "Usage: $0 event_name [seconds]" exit 1 fi source ./set_conf.sh TMPSQL_waitevent="select 'waitevent'||'#'||backend_type||'#'||wait_cnt||'#'||sss.query from (select backend_type,query_id,count(1) wait_cnt from perf.session_history where event='${EVENT}' and ts > sysdate - round(${CNT}/86400::numeric,5) group by backend_type,query_id) tmp1 left join sys_stat_statements sss on tmp1.query_id=sss.queryid order by tmp1.backend_type,wait_cnt desc;" format_output(){ echo -e " TOP SQL waiting for '${EVENT}' in last ${CNT} seconds" echo -e " =========================================================================================================================================" grep "^ $1" ${TMPFILE} | awk -F# 'BEGIN{ printf " %-20s %-15s %-100s\n","backend_type","wait_cnt","query" print " -------------------- --------------- ----------------------------------------------------------------------------------------------------" } { printf " %-20s %-15s %-100s\n", $2, $3, $4; }' echo -e "\n" } ksql "${CONNSTR}" -q -c "${TMPSQL_waitevent}" 2>&1 > ${TMPFILE} echo "" format_output "waitevent" |
其显示结果类似如下:
4. 结语
本篇所讲的故障处理主要是通过sys_stat_activity视图来窥视数据库当前的状态,解决当前时间点的问题。实际上故障处理过程中可能还需要收集全日志、跟踪SQL执行计划、分析sys_stat_statements视图、分析kwr报告、分析ksh报告等。DBA们要学会使用这些工具来协助定位问题。
相关推荐
- 建筑福利-pdf转dwg格式转换器,再也不用描图-极客青年
-
作为一名经常熬夜画图的建筑狗或者cad用户,你体验过pdf图纸描图到cad吗?前几天一个老同学找我,说他的毕业设计需要我帮忙,发给我一份pdf图纸文件,问我怎么把pdf图纸转换成dwg格式。机智的我灵...
- 想学 HTML,不知从何入手?看完这篇文章你就知道了
-
很多人都说HTML是一门很简单的语言,看看书,看看视频就能读懂。但是,如果你完全没有接触过,就想通过看一遍教程,背背标签,想要完全了解HTML,真的有点太天真了。HTML中文...
- 「前端」HTML之结构
-
今天继续为大家分享前端的知识,如果对前端比较感兴趣的小伙伴,可以关注我,我会更大家继续分享更多与前端相关的内容,当然如果内容中又不当的或者文字错误的,欢迎大家在评论区留言,我会及时修改纠正。1.初识H...
- 手把手教你使用Python网络爬虫下载一本小说(附源码)
-
大家好,我是Python进阶者。前言前几天【磐奚鸟】大佬在群里分享了一个抓取小说的代码,感觉还是蛮不错的,这里分享给大家学习。...
- 用于处理pdf文件格式的转换器
-
在上传过程中如果单个文件太大则容易中断,而且文件太大的话对与存储也有些弊端。那么我们应该想到将文件进行压缩(注意这里压缩指的是不改变文件格式的压缩,而不是用变成压缩文件。这里就将以下用专门的软件压缩P...
- 乐书:在线 Kindle 电子书制作和转换工具
-
之前Kindle伴侣曾推荐过可以在Windows和Mac系统平台上运行的kindle电子书制作软件Sigil(教程),用它可以制作出高质量的的ePub格式电子书,当然最后还需要通...
- 付费文档怎么下载?教你5种方法,任意下载全网资源
-
网上查资料的时候,经常遇到需要注册登录或者付费的才能复制或者是下载,遇到这种情况大多数人都会选择重新查。...
- 捡来的知识!3种方法随便复制网页内容,白嫖真香呀
-
网上的资源真的多,所以许多人常常会从网上找资料。我们看到感兴趣的内容,第一时间可能会想要收入囊中。比如说截个图啊,或者挑选有意思的句子复制粘贴,记录下来。可是,有些时候,却会遇到这样的情况:1、内容不...
- AI的使用,生成HTML网页。
-
利用deepseek,豆包,kimi以及通义千问,写入相同的需求。【写一个网页,实现抽奖功能,点击“开始”,按键显示“停止”,姓名开始显示在屏幕上,人员包括:“张三”,“里斯”,“Bool”,“流水废...
- pdf转换成jpg转换器 4.1 官方正式版
-
pdf转换成jpg工具软件简介pdf转换成jpg转换器是一款界面简洁,操作方便的pdf转换成jpg转换器。pdf转换成jpg转换器可以将PDF文档转换为JPG,BMP,GIF,PNG,TIF图片文件。...
- 办公必备的office转换成pdf转换器怎么用?
-
2016-02-2415:53:37南方报道网评论(我要点评)字体刚从校园走出社会,对于快节奏的办公环境,难免会觉得有些吃力。在起步阶段力求将手头上的事情按时完工不出错,但是渐渐的你会发现,别人只...
- 为什么PDF转Word大多要收费?
-
PDF转Word大多都要收费?并非主要是因为技术上的难度,而是基于多方面的商业和版权考虑的,下面给大家浅分析下原因:...
- 如何用python生成简单的html report报告
-
前提:用python写了一个简单的log分析,主要也就是查询一些key,value出来,后面也可以根据需求增加。查询出来后,为了好看,搞个html表格来显示。需要的组件:jinja2flask...
- 学用系列|如何搞定word批量替换修改和格式转换?这里一站搞定
-
想必不少朋友都会碰到批量修改word文档内容、压缩文档图片、文件格式转换等重复性文档处理工作的需要,今天胖胖老师就推荐给大家一个免费工具XCLWinKits,一站搞定你所有的需要。什么是XCLWinK...
- 这款PDF文档转换神器,能帮你解决PDF使用中的许多难点
-
不管是平时的学习还是工作,相信许多朋友都经常接触PDF文件。可以说,PDF文件在我们的日常办公学习过程中的重要性和Word文档一样重要。在之前的更新中,小编介绍了几款非常不错的PDF文档格式转换软件,...
你 发表评论:
欢迎- 一周热门
-
-
前端面试:iframe 的优缺点? iframe有那些缺点
-
带斜线的表头制作好了,如何填充内容?这几种方法你更喜欢哪个?
-
漫学笔记之PHP.ini常用的配置信息
-
其实模版网站在开发工作中很重要,推荐几个参考站给大家
-
推荐7个模板代码和其他游戏源码下载的网址
-
[干货] JAVA - JVM - 2 内存两分 [干货]+java+-+jvm+-+2+内存两分吗
-
正在学习使用python搭建自动化测试框架?这个系统包你可能会用到
-
织梦(Dedecms)建站教程 织梦建站详细步骤
-
【开源分享】2024PHP在线客服系统源码(搭建教程+终身使用)
-
2024PHP在线客服系统源码+完全开源 带详细搭建教程
-
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)