linux系统load高问题排查解决思路
对于系统load高问题，分两种情况进行讨论
CPU高、Load高
CPU低、Load高
CPU高、Load高的情况
- 使用
vmstat查看系统纬度的 CPU 负载； - 使用
top查看进程纬度的 CPU 负载；
1.1、使用 vmstat 查看系统纬度的 CPU 负载
可以通过 vmstat 从系统维度查看 CPU 资源的使用情况
格式：vmstat -n 1
-n 1 表示结果一秒刷新一次
1 | [root@mongopaas2 ~]# vmstat -n 1 |
返回结果中的主要数据列说明：
r： 表示系统中 CPU 等待处理的线程。由于 CPU 每次只能处理一个线程，所以，该数值越大，通常表示系统运行越慢。
b： 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。
us： 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。
sy： 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。
wa：IO 等待消耗的 CPU 时间百分比。该值较高时，说明 IO 等待比较严重，这可能磁盘大量作随机访问造成的，也可能是磁盘性能出现了瓶颈。
id：处于空闲状态的 CPU 时间百分比。如果该值持续为 0，同时 sy 是 us 的两倍，则通常说明系统则面临着 CPU 资源的短缺。
常见问题及解决方法：
如果r经常大于4，且id经常少于40，表示cpu的负荷很重。
如果bi，bo长期不等于0，表示内存不足。
如果disk经常不等于0，且在b中的队列大于3，表示io性能不好。
1.2、使用 top 查看进程纬度的 CPU 负载
可以通过 top 从进程纬度来查看其 CPU、内存等资源的使用情况。
默认界面上第三行会显示当前 CPU 资源的总体使用情况，下方会显示各个进程的资源占用情况。
小技巧：可以直接在界面输入大写字母 P，来使监控结果按 CPU 使用率倒序排列，进而定位系统中占用 CPU 较高的进程。
可以看到现在cpu最高的进程是195317。
然后就可以继续对进程进行精准分析了。
对于java程序来说，通常的操作为：
- 通过top -Hp PID查找占用CPU最高的线程TID;
- 使用jstack打印线程堆栈信息
- 通过
printf %x tid打印出最消耗CPU线程的十六进制； - 在堆栈信息中查看该线程的堆栈信息；
CPU低、Load高情况分析
问题描述：
Linux 系统没有业务程序运行，通过 top 观察，类似如下图所示，CPU 很空闲，但是 load average 却非常高：
处理办法：
load average 是对 CPU 负载的评估，其值越高，说明其任务队列越长，处于等待执行的任务越多。
出现此种情况时，可能是由于僵死进程导致的。可以通过指令
ps -axjf查看是否存在 D 状态进程。D 状态是指不可中断的睡眠状态。该状态的进程无法被 kill，也无法自行退出。只能通过恢复其依赖的资源或者重启系统来解决。
等待I/O的进程通过处于uninterruptible sleep或D状态；通过给出这些信息我们就可以简单的查找出处在wait状态的进程
1 | ps -eo state,pid,cmd | grep "^D" |
总结
1. CPU高、Load高
- 通过top命令查找占用CPU最高的进程PID；
- 通过top -Hp PID查找占用CPU最高的线程TID;
- 对于java程序，使用jstack打印线程堆栈信息（可联系业务进行排查定位）；
- 通过
printf %x tid打印出最消耗CPU线程的十六进制； - 在堆栈信息中查看该线程的堆栈信息；
2. CPU低、Load高
- 通过top命令查看CPU等待IO时间，即
%wa； - ps -axjf 查看是否有僵尸进程
- 通过
iostat -d -x -m 1 10查看磁盘IO情况；(安装命令yum install -y sysstat) - 通过
sar -n DEV 1 10查看网络IO情况； - 通过如下命令查找占用IO的程序；
1 | ps -e -L h o state,cmd | awk '{if($1=="R"||$1=="D"){print $0}}' | sort | uniq -c | sort -k 1nr |