利用linux处理网络流量数据

abloz 2009-01-15
2009-01-15

#

周海汉/文 2009.1.15

http://blog.csdn.net/ablo_zhou

ablozhou #gmail.com

网络压力测试,需要处理原始数据,将原始的Byte/s 处理为Mbps,并通过直观曲线图表展示出来。

1.统计网卡流量

sar -n DEV 1 100 > net

得到网卡流量,原始数据如下:

10:32:41        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:32:42           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:42         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:42         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:42         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

10:32:42        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:32:43           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:43         eth0  79164.00  79161.00 8581912.00 8574255.00      0.00      0.00      0.00 10:32:43         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:43         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 … 10:34:19        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:34:20           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:20         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:20         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:20         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

10:34:20        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:34:21           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:21         eth0  79657.00  79657.00 8602734.00 8606166.00      0.00      0.00      0.00 10:34:21         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:21         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Average:        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s Average:           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 Average:         eth0  40091.69  40091.51 4329888.64 4331543.93      0.00      0.00      0.00 Average:         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 Average:         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

其中rxbyt/s 表示每秒接受的byte数,txbyt/s 表示每秒发送的byte数。我们可以将其加工成Mbps

  1. 我们需要处理 eth0网卡的流量,将其余流量去掉
cat net grep eth0 > net1

我们得到数据如下:

10:32:42         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:43         eth0  79164.00  79161.00 8581912.00 8574255.00      0.00      0.00      0.00 …

10:34:20         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:21         eth0  79657.00  79657.00 8602734.00 8606166.00      0.00      0.00      0.00 Average:         eth0  40091.69  40091.51 4329888.64 4331543.93      0.00      0.00      0.00

3.我们需要处理rxbyt/s ,txbyt/s 将其余的列去掉

gawk ‘{print $5,$6}’ net1 > net2

gawk 命令的执行格式:

gawk  ‘模式匹配 命令语句 {动作}’ 处理文件

我们这里没有模式匹配和语句,直接执行动作,打印第5第6列。

得到数据如下:

0.00 0.00 8581912.00 8574255.00 0.00 0.00 8723086.00 8726654.00 0.00 0.00 8718490.00 8721642.00 0.00 0.00 8558670.00 8562184.00 …

0.00 0.00 8602734.00 8606166.00 4329888.64 4331543.93

4.以上的数据,每行代表1秒,但网卡流量每2秒才能取到一次数据。所以是奇偶相间的数据。第0行开始的偶数行都是0. 我们将偶数行的 0 去掉。

这里方法很多。

a.) sed -n ‘{n;p}’ net2 > net3

该命令表示用sed,隔一行打印一行。单引号里大括号的n表示跳到下一行,分号分隔命令,p表示打印命令。 -n表示安静模式,只打印输出。否则会读一行打印一行。

b.) gawk ‘$1 != 0.00 ‘ net2 > net3 gawk 可以带if表达式,循环,功能很强。因为数据很有规律,我们可以偷点懒,直接将第一列是0.00的数据行删掉。该命令表示第一列不等于0.00就打印出来。

5.将byte/s 处理为Mbps,并求2秒的均值。

gawk ‘a=$18/(210241024), b=$28/(210241024){print a,b}’ net3 > net4

将每一列的值*8,得到bit数,除以1M,得到Mbps,除以2得到均值,并赋给变量a,b。再打印出a和b的值。

6.将文件处理为csv文件,再通过excel程序来生成统计图表

用vi将最后一行平均值去掉。并可以在vi中用:%s/ /,/g 将空格替换为逗号,:w net.csv

7.用winSCP将net.csv传到windows,用excel 2007打开。

选中这两列数据,点插入,折线图,得到如下的图。可以调整一下标题和坐标说明。


如非注明转载, 均为原创. 本站遵循知识共享CC协议,转载请注明来源