Linux性能监控 - CPU、Memory、IO、Network

一、CPU

良好状态指标

CPU利用率：User Time <= 70%，System Time <= 35%，User Time + System Time <= 70%。上下文切换：与CPU利用率相关联，如果CPU利用率状态良好，大量的上下文切换也是可以接受的。可运行队列：每个处理器的可运行队列<=3个线程。

监控工具

vmstat$ vmstat 1先看一个字段能对齐的：下面的是别人服务器的情况：procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------r b swpd free buff cache si so bi bo in cs us sy id wa st14 0 140 2904316 341912 3952308 0 0 0 460 1106 9593 36 64 1 0 017 0 140 2903492 341912 3951780 0 0 0 0 1037 9614 35 65 1 0 020 0 140 2902016 341912 3952000 0 0 0 0 1046 9739 35 64 1 0 017 0 140 2903904 341912 3951888 0 0 0 76 1044 9879 37 63 0 0 016 0 140 2904580 341912 3952108 0 0 0 0 1055 9808 34 65 1 0 0重要参数：r，run queue，可运行队列的进程数，这些进程都是可运行状态，只不过CPU暂时不可用。b，被blocked的进程数，正在等待IO请求。in，interrupts，被处理过的中断数。cs，context switch，系统上正在做上下文切换的数目。us，用户占用CPU的百分比。sys，内核和中断占用CPU的百分比。id，CPU完全空闲的百分比。上例可得：sy高us低，以及高频度的上下文切换（cs），说明应用程序进行了大量的系统调用。这台4核机器的r应该在12个以内，现在r在14个线程以上，此时CPU负荷很重。查看某个进程占用的CPU资源$ while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep "db_server_login"; sleep 1; done PID NI PRI %CPU PSR COMMAND28577 0 23 0.0 0 db_server_login28578 0 23 0.0 3 db_server_login28579 0 23 0.0 2 db_server_login28581 0 23 0.0 2 db_server_login28582 0 23 0.0 3 db_server_login28659 0 23 0.0 0 db_server_login……

二、Memory

良好状态指标

swap in （si） == 0，swap out （so） == 0应用程序可用内存/系统物理内存 <= 70%

监控工具

vmstat$ vmstat 1procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------r b swpd free buff cache si so bi bo in cs us sy id wa st0 3 252696 2432 268 7148 3604 2368 3608 2372 288 288 0 0 21 78 10 2 253484 2216 228 7104 5368 2976 5372 3036 930 519 0 0 0 100 00 1 259252 2616 128 6148 19784 18712 19784 18712 3821 1853 0 1 3 95 11 2 260008 2188 144 6824 11824 2584 12664 2584 1347 1174 14 0 0 86 02 1 262140 2964 128 5852 24912 17304 24952 17304 4737 2341 86 10 0 0 4重要参数：swpd，已使用的 SWAP 空间大小，KB 为单位。free，可用的物理内存大小，KB 为单位。buff，物理内存用来缓存读写操作的buffer大小，KB 为单位。cache，物理内存用来缓存进程地址空间的 cache 大小，KB 为单位。si，数据从 SWAP 读取到 RAM（swap in）的大小，KB 为单位；so，数据从 RAM 写到 SWAP（swap out）的大小，KB 为单位。上例可得：物理可用内存 free 基本没什么显著变化，swapd逐步增加，说明最小可用的内存始终保持在 256MB（物理内存大小） * 10％ = 2.56MB 左右，当脏页达到10％的时候就开始大量使用swap。free$ free -mtotal used free shared buffers cachedMem: 8111 7185 926 0 243 6299-/+ buffers/cache: 643 7468Swap: 8189 0 8189

三、磁盘IO

良好状态指标

iowait % < 20%提高命中率的一个简单方式就是增大文件缓存区面积，缓存区越大预存的页面就越多，命中率也越高。Linux 内核希望能尽可能产生次缺页中断（从文件缓存区读），并且能尽可能避免主缺页中断（从硬盘读），这样随着次缺页中断的增多，文件缓存区也逐步增大，直到系统只有少量可用物理内存的时候 Linux 才开始释放一些不用的页。

监控工具

查看物理内存和文件缓存情况$ cat /proc/meminfoMemTotal: 8182776 kBMemFree: 3053808 kBBuffers: 342704 kBCached: 3972748 kB这台服务器总共有 8GB 物理内存（MemTotal），3GB 左右可用内存（MemFree），343MB左右用来做磁盘缓存（Buffers），4GB左右用来做文件缓存区（Cached）。sar$ sar -d 2 3Linux 2.6.9-42.ELsmp （webserver） 11/30/2008 _i686_ （8 CPU）11:09:33 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util11:09:35 PM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.0011:09:35 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util11:09:37 PM dev8-0 1.00 0.00 12.00 12.00 0.00 0.00 0.00 0.0011:09:37 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util11:09:39 PM dev8-0 1.99 0.00 47.76 24.00 0.00 0.50 0.25 0.05Average: DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %utilAverage: dev8-0 1.00 0.00 19.97 20.00 0.00 0.33 0.17 0.02重要参数：await表示平均每次设备I/O操作的等待时间（以毫秒为单位）。svctm表示平均每次设备I/O操作的服务时间（以毫秒为单位）。%util表示一秒中有百分之几的时间用于I/O操作。如果svctm的值与await很接近，表示几乎没有I/O等待，磁盘性能很好，如果await的值远高于svctm的值，则表示I/O队列等待太长，系统上运行的应用程序将变慢。如果%util接近100%，表示磁盘产生的I/O请求太多，I/O系统已经满负荷的在工作，该磁盘可能存在瓶颈。

四、Network IO

对于UDP

良好状态指标

接收、发送缓冲区没有长时间等待处理的网络包。

监控工具

netstat对于UDP服务，查看所有监听的UDP端口的网络情况$ watch netstat -lunpProto Recv-Q Send-Q Local Address Foreign Address State PID/Program nameudp 0 0 0.0.0.0:64000 0.0.0.0:* -udp 0 0 0.0.0.0:38400 0.0.0.0:* -udp 0 0 0.0.0.0:38272 0.0.0.0:* -udp 0 0 0.0.0.0:36992 0.0.0.0:* -udp 0 0 0.0.0.0:17921 0.0.0.0:* -udp 0 0 0.0.0.0:11777 0.0.0.0:* -udp 0 0 0.0.0.0:14721 0.0.0.0:* -udp 0 0 0.0.0.0:36225 0.0.0.0:* -RecvQ、SendQ为0，或者没有长时间大于0的数值是比较正常的。对于UDP服务，查看丢包情况（网卡收到了，但是应用层没有处理过来造成的丢包）$ watch netstat -suUdp: 278073881 packets received 4083356897 packets to unknown port received. 2474435364 packet receive errors 1079038030 packets sentpacket receive errors 这一项数值增长了，则表明在丢包。

对于TCP

良好状态指标

对于TCP而言，不会出现因为缓存不足而存在丢包的事，因为网络等其他原因，导致丢了包，协议层也会通过重传机制来保证丢的包到达对方。所以，tcp而言更多的专注重传率。

监控工具

# cat /proc/net/snmp | grep Tcp:Tcp: RtoAlgorithm RtoMin RtoMax MaxConn ActiveOpens PassiveOpens AttemptFails EstabResets CurrEstab InSegs OutSegs RetransSegs InErrs OutRstsTcp: 1 200 120000 -1 105112 76272 620 23185 6 2183206 2166093 550 6 968812重传率 = RetransSegs / OutSegs至于这个值在多少范围内，算ok的，得看具体的业务了。业务侧更关注的是响应时间。本文永久更新链接地址