CentOS服务器CPU负载突然飙高,最常见的诱因并不是硬件老化,而是某个进程陷入死循环、日志写入失控、定时任务堆积或者被恶意程序占用资源。处理这类问题不能只靠重启,重启虽然能暂时压下去,但根因没找到,过不了多久负载还会再次拉满。排查CPU高负载的核心思路是:先定位是哪个进程在消耗CPU,再分析这个进程到底在执行什么操作,最后结合系统日志和应用日志确认触发条件,针对性处理。
第一步:用top命令快速锁定高CPU进程
登录服务器后,第一件事就是运行top命令。top默认按CPU使用率排序,能直接看到哪些进程占用了大量CPU时间。重点关注%CPU列超过100的进程,因为多核服务器上单个进程可能占用超过100%的CPU。同时注意load average的三个数值,如果1分钟值远大于CPU核心数,说明系统已经过载。
top -c
加-c参数可以显示完整的命令行,这样能直接看到进程的启动命令和参数。比如看到某个php-fpm进程CPU占用持续在90%以上,命令行里会显示是哪个网站目录下的脚本在运行。如果是Java进程,命令行里能看到jar包路径和启动参数。这个信息非常关键,能帮你判断是业务进程还是系统进程出了问题。
第二步:分析进程内部线程的CPU分布
top只能看到进程级别的CPU占用,但一个进程内部可能有多个线程,需要进一步定位是哪个线程在消耗CPU。使用top -H -p加上进程ID,可以查看指定进程的所有线程。
top -H -p 12345
假设进程ID是12345,这个命令会列出该进程下所有线程的CPU使用情况。记下CPU占用最高的线程ID,比如线程ID是12367。接下来要把这个十进制线程ID转成十六进制,因为后面用jstack分析Java进程时需要用到十六进制的线程ID。
printf "%x\n" 12367
这个命令会输出十六进制的值,比如304f。如果是Java应用,用jstack把线程堆栈导出来,然后在堆栈文件里搜索这个十六进制值,就能找到具体是哪段代码在消耗CPU。这是排查Java应用CPU高负载最有效的方法。
第三步:用ps命令查看进程的详细状态
ps命令可以查看进程的启动时间、累计CPU时间、内存占用等详细信息。如果一个进程累计CPU时间异常高,说明它从启动开始就一直在大量消耗CPU资源。
ps -eo pid,ppid,user,%cpu,%mem,etime,time,cmd --sort=-%cpu | head -20
这个命令会按CPU使用率从高到低排序,显示前20个进程。etime列显示进程运行了多长时间,time列显示进程累计使用的CPU时间。如果一个进程运行了才几分钟,但累计CPU时间已经达到几十分钟,说明这个进程在疯狂消耗CPU。cmd列会显示完整的命令行,帮助你识别进程来源。
第四步:检查系统整体资源状态
有时候CPU高负载不是单个进程造成的,而是大量进程同时运行导致的。用vmstat命令可以查看系统整体的CPU使用情况,包括用户态、内核态、等待IO和空闲的比例。
vmstat 1 10
这个命令每秒输出一次系统状态,连续输出10次。重点关注us、sy、wa、id这几列。us是用户态CPU占用,sy是内核态CPU占用,wa是等待IO的CPU占用,id是空闲CPU。如果sy值很高,说明系统调用频繁,可能是某个程序在疯狂读写文件或者创建进程。如果wa值很高,说明磁盘IO是瓶颈,CPU在等待磁盘响应,这时候即使CPU看起来负载高,根因其实是磁盘性能不足。
第五步:排查定时任务和后台脚本
CentOS服务器上很多CPU高负载问题是由crontab定时任务引起的。比如某个脚本每分钟执行一次,但脚本本身执行时间超过一分钟,就会导致脚本堆积,CPU负载持续升高。检查所有用户的crontab配置:
for user in $(cut -f1 -d: /etc/passwd); do echo "=== $user ==="; crontab -l -u $user 2>/dev/null; done
同时检查系统级的定时任务目录,包括/etc/crontab、/etc/cron.d/、/etc/cron.hourly/、/etc/cron.daily/等。重点看有没有执行频率过高的任务,或者脚本内容是否存在死循环。另外,用ps aux | grep -v grep | grep -E "sh|bash|python|php"可以查看当前正在运行的脚本进程,结合启动时间判断是否有脚本在反复启动。
第六步:检查是否有异常进程或恶意程序
服务器被植入挖矿程序是导致CPU高负载的常见原因之一。挖矿程序通常会伪装成系统进程,名字可能叫kworkerds、systemd-network、sshd等,看起来像正常进程。用ls -l /proc/进程ID/exe可以查看进程的可执行文件真实路径。
ls -l /proc/12345/exe
如果这个路径指向一个临时目录或者隐藏目录,比如/tmp/.X11-unix/、/var/tmp/.cache/,那基本可以确定是恶意程序。另外,用netstat -tunlp查看进程的网络连接,如果发现进程连接到外部陌生IP的非常用端口,也要高度警惕。对于确认的恶意进程,先kill掉,然后删除对应的可执行文件和启动项,最后检查crontab和rc.local有没有被写入恶意启动命令。
第七步:分析系统日志找线索
系统日志往往记录了CPU高负载发生前后的关键事件。查看/var/log/messages和/var/log/secure,搜索error、fail、killed等关键词,看是否有进程被系统OOM Killer杀掉,或者有大量认证失败记录。
grep -i -E "error|fail|killed|oom" /var/log/messages | tail -50
如果日志里出现Out of memory,说明之前发生过内存耗尽,OOM Killer杀掉了某个进程,这个进程被杀前可能正在疯狂消耗CPU和内存。另外,用dmesg命令查看内核日志,看是否有硬件相关的错误,比如CPU温度过高、MCE错误等。硬件故障也会导致CPU负载异常,但这种情况相对少见。
第八步:使用strace跟踪进程系统调用
如果已经定位到具体的进程,但不知道它在干什么,可以用strace跟踪这个进程的系统调用。strace会显示进程正在执行的每一个系统调用,包括文件读写、网络通信、内存分配等。
strace -p 12345 -c -f
这个命令会跟踪进程12345及其子进程的系统调用,并在退出时输出统计信息。如果不想等进程退出,可以用strace -p 12345 -f -e trace=file,network直接实时查看文件和网络相关的系统调用。通过系统调用可以看到进程是在疯狂读某个文件,还是在不断建立网络连接,还是在循环创建子进程。这对于分析非Java类的程序特别有用。
第九步:检查文件系统和磁盘IO
CPU高负载和磁盘IO问题经常相互关联。用iostat命令查看磁盘的读写负载:
iostat -x 1 5
关注%util列,如果某个磁盘的%util持续接近100%,说明磁盘已经满负荷运转。这时候如果有很多进程在等待磁盘IO,CPU的wa值会升高,整体负载也会被拉高。用iotop命令可以查看是哪些进程在大量读写磁盘:
iotop -oP
这个命令只显示有实际IO操作的进程,按IO速率排序。如果发现某个进程在疯狂写日志,比如每秒写入几十MB,那就要检查这个进程的日志配置,看是不是日志级别设置过低导致日志量暴增,或者日志轮转没有生效导致单个日志文件无限增长。
第十步:处理常见的高CPU场景
MySQL数据库CPU高负载时,用show processlist查看当前正在执行的SQL语句,找出执行时间长的SQL,用explain分析执行计划,看是否缺少索引或者表数据量过大。PHP应用CPU高负载时,检查php-fpm的慢日志,慢日志里记录了执行时间超过阈值的脚本,直接定位到具体的PHP文件和函数。Nginx或Apache的CPU高负载,通常和大量并发连接有关,检查访问日志看是否有异常流量,同时检查配置中的worker进程数是否合理。
对于Java应用,如果jstack分析发现大量线程都阻塞在数据库连接获取上,说明数据库连接池配置过小,或者数据库响应慢导致线程堆积。如果线程都在执行GC,说明堆内存配置不合理,需要调整JVM参数。这些都需要结合具体的应用场景来判断。
总结排查流程
CPU高负载排查的核心是层层递进:先用top定位进程,再用ps和top -H深入分析,然后结合日志和系统调用找到根因。不要一上来就重启服务,重启会丢失现场,让问题更难排查。如果情况紧急必须快速恢复,可以先记录下top和ps的输出,保存进程列表和CPU占用情况,然后再重启。重启后继续观察,如果问题复现,用之前记录的信息对比分析。平时建议部署监控系统,对CPU使用率设置告警阈值,这样能在问题发生的第一时间收到通知,而不是等用户投诉才发现服务器已经卡死了。
