五、三剑客之sed、awk

1. sed行天下

• 目标：
  • 熟练通过sed命令，取行，替换操作，熟悉sed删除与增加
  • 逐渐掌握sed替换中的特殊功能：反向应用（后向引用）

1.1 sed 概述与执行流程

• ​ sed命令，stream editor 流编辑器（认为文件，源源不断字符流）
• 格式：
  • sed 选项 '2p' 文件
  • sed 选项 's#oldboy#oldgirl#g' 文件
    • p和s是sed命令的指令
    • g表示标记
• sed命令执行流程：找谁干啥。
  • sed命令读取文件内容
  • sed命令读取第一行后，进行处理（增删改查）

1.2 sed的查找功能

• 找行
• 根据内容找行

# 案例01 查很早文件的第二行

[root@lichengbo-nb /oldboy]# sed -n '2p' sed.txt             #sed去某一行功能
102,zhangya,CTO
[root@lichengbo-nb /oldboy]#  #-n 取消sed默认输出。
[root@lichengbo-nb /oldboy]#  # p sed指令 print 显示/输出


# 案例02 查找文件中包含oldboy的行（类似于greo）

[root@lichengbo-nb /oldboy]# grep 'oldboy' sed.txt
101,oldboy,CEO
[root@lichengbo-nb /oldboy]# sed -n '/oldboy/p' sed.txt       #sed过滤功能
101,oldboy,CEO

# 案例03 过滤出文件中包含oldboy或lidao的行
[root@lichengbo-nb /oldboy]# sed -n '/oldboy|lidao/p' sed.txt
[root@lichengbo-nb /oldboy]# sed -rn '/oldboy|lidao/p' sed.txt
101,oldboy,CEO
103,lidao996,COO
110,lidao,COCO

# 案例04 过滤出文件从第二行到第五行的内容（范围）
[root@lichengbo-nb /oldboy]# sed -n '2,5p' sed.txt
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
sed -n '从哪里开始,从哪里结束p' sed.txt

# 案例05 过滤出文件中包含101的行到包含105的行（范围）
[root@lichengbo-nb /oldboy]# sed -n '/101/,/105/p' sed.txt
101,oldboy,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
sed -n '/从哪里开始/,/从哪里结束/p' sed.txt

sed命令查找小结

• 格式：sed -n '条件p' sed.txt
• sed查找中可用条件：
  • 行号：sed -n '2p' sed.txt
  • 行号范围：sed -n '2,5p' sed.txt
  • 模糊过滤：类似于grep， sed -n '/支持正则/p' sed.txt 使用扩展正则加上-r即可
  • 模糊过滤表示范围：sed -n '/从哪里来/,/到哪里去/p' sed.txt

1.3 sed的替换功能

• 目标：能够把文件内容进行替换于修改即可

#案例01 把文件中oldboy替换为oldgirl
[root@lichengbo-nb /oldboy]# sed 's#oldboy#oldgirl#g' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
sed 's#找谁#替换成什么#g' sed.txt

#sed命令中，大部分修改的输出内容，文件内容并没有修改。（大部分时候，我们不需要修改文件内容）
[root@lichengbo-nb /oldboy]# sed -i 's#oldboy#oldgirl#g' sed.txt
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#案例02 修改文件在内容前通过sed备份
[root@lichengbo-nb /oldboy]# sed 's#lidao996#lidao007#g' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed -i.bak 's#lidao996#lidao007#g' sed.txt
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# cat sed.txt.bak
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# ll sed.txt*
-rw-r--r--. 1 root root 90 May  6 23:40 sed.txt
-rw-r--r--. 1 root root 90 May  6 23:28 sed.txt.bak

• 补充说明：sad替换时候的g是什么意思？
  • s 替换
  • g 全局替换global，开启全局替换，让sed把每一行中匹配的内容替换掉，默认只替换这一行中第一个匹配的内容。

#sed全局替换，演示案例。
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed 's#[109]##g' sed.txt
,oldgirl,CEO
2,zhangya,CTO
3,lidao6,COO
4,yy,CFO
5,feixue,CIO
,lidao,COCO
[root@lichengbo-nb /oldboy]# sed 's#[109]##' sed.txt
01,oldgirl,CEO
02,zhangya,CTO
03,lidao996,COO
04,yy,CFO
05,feixue,CIO
10,lidao,COCO

1.4 sed的替换功能之反向引用

• 目标：取出ip地址，任何想要的内容

#演示案例
[root@lichengbo-nb /oldboy]# echo 123456 | sed 's#123456#<123456>#g'
<123456>
[root@lichengbo-nb /oldboy]# #后面连个#之间想用 前面两个#之间的内容。 后向引用
[root@lichengbo-nb /oldboy]# 
[root@lichengbo-nb /oldboy]# echo 123456 | sed -r 's#(.*)#<\1>#g'
<123456>
[root@lichengbo-nb /oldboy]# #反向引用使用流程：
[root@lichengbo-nb /oldboy]# #先把你要的内容通过正则，....匹配出来并加上
[root@lichengbo-nb /oldboy]# #先把你要的内容通过正则，....匹配出来并加上()保护(分组)
[root@lichengbo-nb /oldboy]# #sed 后面两#之间调用(引用) \1\2\3.....
如果想匹配数字部分，更加精确，反向引用的一般需要修改 正则部分即可

#如果只给数字两边加上<>?
[root@lichengbo-nb /oldboy]# echo {1..10}
1 2 3 4 5 6 7 8 9 10
[root@lichengbo-nb /oldboy]# echo {1..10} |sed -r 's#([0-9])#<\1>#g'
<1> <2> <3> <4> <5> <6> <7> <8> <9> <1><0>
[root@lichengbo-nb /oldboy]# echo {1..10} |sed -r 's#([0-9]+)#<\1>#g'
<1> <2> <3> <4> <5> <6> <7> <8> <9> <10>

#案例
 #第一步：明确目标
 #第二步：取行 第三行
 #第三步：通用后向引用，先保护，然后通过\1取这个ip地址
[root@lichengbo-nb /oldboy]# ip a s ens33 |sed -n '3p' | sed -r 's#    inet (.*)/24 brd 10.0.0.255 scope global noprefixroute ens33#\1#g' 
10.0.0.200                                                                                                   
[root@lichengbo-nb /oldboy]# ip a s ens33 |sed -n '3p' | sed -r 's#^.*et (.*)/.*$#\1#g'
10.0.0.200

#案例02 调换/etc/passwd 第一列和最后一列。
#思路
#通过sed命令+正则  把第一列，中间部分，最后一列 匹配出来
#把这几个部分通过()括起来(分组)
#通过\3\2\1  输出
[root@lichengbo-nb /oldboy]# sed -r 's#(^.*)(:x.*:)(.*)$#\3\2\1#g' passwd
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
/bin/sync:x:5:0:sync:/sbin:sync
/sbin/shutdown:x:6:0:shutdown:/sbin:shutdown
/sbin/halt:x:7:0:halt:/sbin:halt
/sbin/nologin:x:8:12:mail:/var/spool/mail:mail
/sbin/nologin:x:11:0:operator:/root:operator
/sbin/nologin:x:12:100:games:/usr/games:games
/sbin/nologin:x:14:50:FTP User:/var/ftp:ftp
/sbin/nologin:x:99:99:Nobody:/:nobody
/sbin/nologin:x:192:192:systemd Network Management:/:systemd-network
/sbin/nologin:x:81:81:System message bus:/:dbus
/sbin/nologin:x:999:998:User for polkitd:/:polkitd
/sbin/nologin:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:tss
/sbin/nologin:x:173:173::/etc/abrt:abrt
/sbin/nologin:x:74:74:Privilege-separated SSH:/var/empty/sshd:sshd
/sbin/nologin:x:89:89::/var/spool/postfix:postfix
/sbin/nologin:x:38:38::/etc/ntp:ntp
/bin/bash:x:998:996::/home/system:system
/bin/bash:x:1112:1112::/home/hotblood:hotblood
/sbin/nologin:x:1222:1222::/home/mariadb:mariadb
/bin/bash:x:1223:1223::/home/lichengbo:lichengbo

1.5sed的删除功能

• d ：删除，以行为单位进行删除

#案例01 删除文件的第三行
[root@lichengbo-nb /oldboy]# sed '3d' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed '1,3d' sed.txt
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#案例02 删除oldboy或lidao的行
[root@lichengbo-nb /oldboy]# sed -r '/oldboy|lidao/d' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
104,yy,CFO
105,feixue,CIO

#案例03 企业生成案例  去掉/etc/ssh/sshd_config文件中的空行或注释行
#方法一：
[root@lichengbo-nb /oldboy]# egrep -v '^$|^#' sshd_config 
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

#方法二
[root@lichengbo-nb /oldboy]# sed -r '/^$|^#/d' sshd_config 
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

#方法三:
[root@lichengbo-nb /oldboy]# awk '!/^$|^#/' sshd_config 
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

1.6 sed的增加功能

#案例01 指定行追加内容
[root@lichengbo-nb /oldboy]# sed '5a 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
106,hotblood,UFO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed '5i 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
106,hotblood,UFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed '5c 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
106,hotblood,UFO
110,lidao,COCO

#案例02 在最后一行后面追加
[root@lichengbo-nb /oldboy]# sed '$a 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
106,hotblood,UFO

#案例03 在最后一行后面追加多行
[root@lichengbo-nb /oldboy]# sed '$a 111\n222\n333\n' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
111
222
333

2.awk霸天下

• 目标：
  • 近期：使用awk进行过滤，取行，取列
  • 长远：使用awk进行过滤，取行，取列，统计计算。

2.1 awk概述

1）awk名字

• 3个作者
• awk算是一门语言，单行脚本语言

2）awk格式

• awk -F: 'NR==1{print $1,$3}' /etc/passwd

• awk 选项 '条件{动作}' /etc/passwd

• 条件：哪一行，过滤什么内容

• 动作：pirnt输出与显示

2.2 awk执行流程

2.3 awk取行

#案例01 取出sed.txt的第二行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk 'NR==2' sed.txt
102,zhangya,CTO
#awk '行号 等于 2'  sed.txt
#NR awk内置变量
Number of record 记录号（行号）

#案例02 取出sed.txt中包含oldboy或lidao的行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk '/odlboy|lidao/' sed.txt
103,lidao007,COO
110,lidao,COCO

#案例03 取出文件第2行到第5行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk 'NR>=2&&NR<=5' sed.txt
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO

#案例04 去除文件第3行到最后一行内容
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk 'NR>=3' sed.txt
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#案例05 取出包含oldboy的行到lidao的行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk '/old/,/lidao/' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO

2.4 awk取列

• 目标
  • 熟练取出指定的内容或部分（取列）

#案例01 取出ls -lh命令中的第一列和第3列
[root@lichengbo-nb /oldboy]# ll -h | awk '{print $1,$3}'
total 
-r-xr--r--. 1000
drwxrwxrwx. lichengbo
-rw-r--r--. root
---xr--r--. 1000
lrwxrwxrwx. 1000
-rw-r--r--. root
-rw-r--r--. root
-rw-r--r--. root
-rw-r--r--. root
-rw-------. root
-rw-r--r--. root
#注意:awk中 $数字 只有一个意思，取列

#案例02 取出/etc/passwd每一行内容，加上行号
[root@lichengbo-nb /oldboy]# awk '{print NR,$0}' /etc/passwd
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15 dbus:x:81:81:System message bus:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
17 tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
18 abrt:x:173:173::/etc/abrt:/sbin/nologin
19 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
20 postfix:x:89:89::/var/spool/postfix:/sbin/nologin
21 ntp:x:38:38::/etc/ntp:/sbin/nologin
22 system:x:998:996::/home/system:/bin/bash
23 hotblood:x:1112:1112::/home/hotblood:/bin/bash
24 mariadb:x:1222:1222::/home/mariadb:/sbin/nologin
25 lichengbo:x:1223:1223::/home/lichengbo:/bin/bash

#案例03 取出/etc/passwd第1列和第3列
awk取列，默认以空格，连续空格或tab键空格分隔
如果想更改或指定新的分隔符就要加-F选项，-F指定分隔符
[root@lichengbo-nb /oldboy]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
operator 11
games 12
ftp 14
nobody 99
systemd-network 192
dbus 81
polkitd 999
tss 59
abrt 173
sshd 74
postfix 89
ntp 38
system 998
hotblood 1112
mariadb 1222
lichengbo 1223

#案例04 取出ip.txt文件中ip（10.0.0.200）地址
#方法一：
[root@lichengbo-nb /oldboy]# awk '{print $2}' ip.txt | awk -F'/' '{print $1}'
10.0.0.200
#方法二：
[root@lichengbo-nb /oldboy]# awk -F'inet |/24' '{print $2}' ip.txt
10.0.0.200
[root@lichengbo-nb /oldboy]# echo    awk -F'[ /]+' '{print $3}' ip.txt  
10.0.0.200
#先用-F '[ /]+' 先用正则匹配出连续出现的空格或/ 然后交给awd -F作为分隔符

#案例05 取出/etc/passwd第1列，第3列和最后一列
[root@lichengbo-nb /oldboy]# awk -F: '{print $1,$3,$NF}' /etc/passwd
root 0 /bin/bash
bin 1 /sbin/nologin
daemon 2 /sbin/nologin
adm 3 /sbin/nologin
lp 4 /sbin/nologin
sync 5 /bin/sync
shutdown 6 /sbin/shutdown
halt 7 /sbin/halt
mail 8 /sbin/nologin
operator 11 /sbin/nologin
games 12 /sbin/nologin
ftp 14 /sbin/nologin
nobody 99 /sbin/nologin
systemd-network 192 /sbin/nologin
dbus 81 /sbin/nologin
polkitd 999 /sbin/nologin
tss 59 /sbin/nologin
abrt 173 /sbin/nologin
sshd 74 /sbin/nologin
postfix 89 /sbin/nologin
ntp 38 /sbin/nologin
system 998 /bin/bash
hotblood 1112 /bin/bash
mariadb 1222 /sbin/nologin
lichengbo 1223 /bin/bash
# $NF 最后一列

2.5 awk 行与列综合（awk过滤进阶）

• awk可以完成，某一列中包含/不包含内容

  #示例：取出passwd中第三列以1或2开头的内容  passwd
  awk  -F:  '$3  ~  /^[12]/'  /etc/passwd
  
  #案例01 过滤出passwd中第3列以0-3结尾的，显示第1列和第3列内容
  #方法一： 分步骤
  [root@lichengbo-nb /oldboy]# awk -F: '$3 ~ /[0-3]$/' /etc/passwd
  root:x:0:0:root:/root:/bin/bash
  bin:x:1:1:bin:/bin:/sbin/nologin
  daemon:x:2:2:daemon:/sbin:/sbin/nologin
  adm:x:3:4:adm:/var/adm:/sbin/nologin
  operator:x:11:0:operator:/root:/sbin/nologin
  games:x:12:100:games:/usr/games:/sbin/nologin
  systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
  dbus:x:81:81:System message bus:/:/sbin/nologin
  abrt:x:173:173::/etc/abrt:/sbin/nologin
  hotblood:x:1112:1112::/home/hotblood:/bin/bash
  mariadb:x:1222:1222::/home/mariadb:/sbin/nologin
  lichengbo:x:1223:1223::/home/lichengbo:/bin/bash
  [root@lichengbo-nb /oldboy]# awk -F: '$3 ~ /[0-3]$/' /etc/passwd | awk -F: '{print $1,$3}'
  root 0
  bin 1
  daemon 2
  adm 3
  operator 11
  games 12
  systemd-network 192
  dbus 81
  abrt 173
  hotblood 1112
  mariadb 1222
  lichengbo 1223
  #方法二：
  [root@lichengbo-nb /oldboy]# awk -F: '$3~/[0-3]$/ {print $1,$3}' /etc/passwd
  root 0
  bin 1
  daemon 2
  adm 3
  operator 11
  games 12
  systemd-network 192
  dbus 81
  abrt 173
  hotblood 1112
  mariadb 1222
  lichengbo 1223
  
  #案例02 过滤出/etc/passwd中第3列大于0小于1000的内容，显示第1列和第3列
  [root@lichengbo-nb /oldboy]# awk -F: '$3>0 && $3<1000 {print $1,$3}' /etc/passwd | column -t
  bin              1
  daemon           2
  adm              3
  lp               4
  sync             5
  shutdown         6
  halt             7
  mail             8
  operator         11
  games            12
  ftp              14
  nobody           99
  systemd-network  192
  dbus             81
  polkitd          999
  tss              59
  abrt             173
  sshd             74
  postfix          89
  ntp              38
  system           998
  
  #案例03 过滤出网卡配置文件中的ip地址
  /etc/sysconfig/network-scripts/ifcfig-ens33
  #方法一：
  [root@lichengbo-nb /oldboy]# awk -F= awk -F= 'NR==16 {print $2}' /etc/sysconfig/network-scripts/ifcfg-ens33 
  10.0.0.200
  #方法二：
  [root@lichengbo-nb /oldboy]# awk -F= '/IPADDR/ {print $2}' /etc/sysconfig/network-scripts/ifcfg-ens33
  10.0.0.200
  

2.6 awk统计计算功能

• BEGIN{}和END{}

1）BEGIN{} （了解）

#计算
[root@lichengbo-nb /oldboy]# awk 'BEGIN{print 1/3}'
0.333333
[root@lichengbo-nb /oldboy]# awk 'BEGIN{print 1/3,1-3,1+3,3*3,2^10}'
0.333333 -2 4 9 1024

#修改 awk的变量
awk 'BEGIN{FS=":"} NR==1{print $1}' passwd

2) END{}熟练掌握

#案例01 统计/etc/passwd的行数
[root@lichengbo-nb /oldboy]# awk '{i++}END{print i}' /etc/passwd
25

#案例02 统计/etc/passwd中可登录用户数量
[root@lichengbo-nb /oldboy]# awk '/bash$/ {c++} END{print c}' /etc/passwd
4
#案例03 统计/etc/services文件中空行的数量
 [root@lichengbo-nb /oldboy]# awk '/^$/ {k++} END{print k}' /etc/services 
17
#案例04 生产工作案例 统计access.log中一共用了多了流量
[root@lichengbo-nb /oldboy]# awk '{sum=sum+$1} END{print sum}' liu.log
86372

#案例04 生产工作案例统计access.log中一共用了多少流量
awk '{sum-sum+$10} END{print sum/1024^3"GB"}' access.log

本栏目推荐文章
• 【Shell基础】Bash基础与Linux三剑客
• linux系统命令技巧ps -ef | grep main | grep -v grep | awk '{print $2}' | xargs --no-run-if-empty kill -9
• Redis缓存三剑客
• Linux常用命令使用（二）----awk
• grep_sed_awk练习
• Linux常用工具：grep/awk/sed
• sed 命令针对某一行进行替换
• Linux文件查找、三剑客、正则表达式
• sed处理当前文件及子文件
• 软件测试/测试开发|Linux sed命令详解

三剑客 sed awk三剑客sed awk 三剑客grep awk sed grep_sed_awk 三剑客 文本sed 三剑客16文件awk 三剑客linux sed 三剑客 文本linux awk 三剑客 文本linux sed 三剑客linux grep awk grep_sed_awk grep awk sed