内容简介：上面是对单个字符的重复，如果对字符串的重复可以使用() 其中，括号使用在字符串中时加上\(se)* 如 ： grep '\(se\)*' passwd(se)+ 如 ： grep '\(se\)\+' passwd
文本处理工具 grep awk sed完全解读
正则表达式单字符
- 1特定字符 ： 某个具体的字符 'a'
- 2范围内字符 : [a-zA-Z]
- 3任意字符 : . // grep . file // 如果点放到中括号中[.] 或者用反斜杠'\.' 则它不代表任意一个字符，而代表它本身 例如 grep '\.' file
- 4反向字符 [^a-z] [^0]
正则表达式其他符号
- 边界字符 ： 头字符 ^ : ^root 注意与 [^] 的区别
- 边界字符 ： 尾字符 $ : false$ 空行表示为 ^$
- 元字符 ：
\w 代表着普通字符或者特殊字符 匹配任何字类字符，包括下划线 [A-Za-z0-9_]
\W 代表任何非字类字符 [^A-Za-z0-9_]
\b 单词的分割 grep '\bx\b' passwd 为 x为单独单词的数据
正则表达式字符组合
- 字符串 ： 'root' '1000' 'm..c' m开头c结束长度为4的字符串 '[A-Z][a-z]' '\b[0-9][0-9]\b' 两位数
- 重复
- 逻辑
重复
- * : 0次或多次 匹配前面的字符或表达式 grep 'se*' passed
- + : 1次或多次 匹配前面的字符或表达式 grep 'se\+' passed + 号 出现在字符串中时代表它本身，如果作为重复表达式使用时必须加上\
- ? : 0次或一次 匹配前面的字符或表达式 grep 'se\?' ? 作为重复表达式使用必须加上\ 同上加号
- {n,m} ：重复指定次数 {0,} 注意 大括号需要进行转义
上面是对单个字符的重复，如果对字符串的重复可以使用() 其中，括号使用在字符串中时加上\
(se)* 如 ： grep '\(se\)*' passwd
(se)+ 如 ： grep '\(se\)\+' passwd
(se)? 如 ： grep '\(se\)\?' passwd
(se){2,3} 如 ： grep '\(se\)\{2,3\}' passwd
任意字符表达式 ： .
任意的字符串 '.*'
grep '^r.*' passwd
'm.*c' 'm..c' '\bm.*c\b' '\bm[a-z]*c\b'
逻辑的表示
| ： grep 'bin/\(false\|true\)' passwd () 和 | 在正则表达式中不能单独出现，必须加上\ 反斜杠
正则表达式案例
匹配4-10位qq号
grep '^[0-9]\{4.10\}$' qq.txt
匹配15位或18位身份证号 (支持带X的)
grep '^[1-9]\([0-9]\{13\}\|[0-9]\{16\}\)[0-9xX]$' qq.txt
匹配密码 (由数字 26个字母和下划线组成)
grep '^\w\+' qq.txt
正则表达式中符号必须转义的有
| () {} + ?
正则练习
- grep OR操作:
- grep 'pattern1|pattern2' filename
- grep -E 'pattern1|pattern2' filename
- grep -e 'pattern1' -e 'pattern2' filename
- egrep 'pattern1|pattern2' filename
- grep AND 操作：
- grep -E 'pattern1.*pattern2' filename
- grep -E 'pattern1' | grep -E 'pattern2'
- grep NOT 操作
- grep -v 'pattern1' filename
[root@vm1 opt]# cat employee.txt 100 Thomas Manager Sales $5,000 200 Jason Developer Technology $5,500 300 Raj Sysadmin Technology $7,000 400 Nisha Manager Marketing $9,500 500 Randy Manager Sales $6,000
OR
[root@vm1 opt]# grep 'Tech\|Manager' employee.txt 100 Thomas Manager Sales $5,000 200 Jason Developer Technology $5,500 300 Raj Sysadmin Technology $7,000 400 Nisha Manager Marketing $9,500 500 Randy Manager Sales $6,000 [root@vm1 opt]# grep -E 'Tech|Manager' employee.txt 100 Thomas Manager Sales $5,000 200 Jason Developer Technology $5,500 300 Raj Sysadmin Technology $7,000 400 Nisha Manager Marketing $9,500 500 Randy Manager Sales $6,000 [root@vm1 opt]# egrep 'Tech|Manager' employee.txt 100 Thomas Manager Sales $5,000 200 Jason Developer Technology $5,500 300 Raj Sysadmin Technology $7,000 400 Nisha Manager Marketing $9,500 500 Randy Manager Sales $6,000 [root@vm1 opt]# grep -e 'Tech' -e 'Manager' employee.txt 100 Thomas Manager Sales $5,000 200 Jason Developer Technology $5,500 300 Raj Sysadmin Technology $7,000 400 Nisha Manager Marketing $9,500 500 Randy Manager Sales $6,000 [root@vm1 opt]#
AND
[root@vm1 opt]# grep -E 'Manager.*Sales' employee.txt 100 Thomas Manager Sales $5,000 500 Randy Manager Sales $6,000 [root@vm1 opt]# grep -E 'Manager.*Sales|Sales.*Manager' employee.txt 100 Thomas Manager Sales $5,000 500 Randy Manager Sales $6,000 [root@vm1 opt]# grep 'Manager' employee.txt | grep 'Sales' 100 Thomas Manager Sales $5,000 500 Randy Manager Sales $6,000
NOT
grep -v
sed命令 —— 流处理编辑器
sed是行处理工具： 一次处理一行并且不改变文本内容的(除非重定向)
sed的处理过程： 正则选定文本 -> sed进行处理
sed的格式
- 命令行格式：sed [options] 'command' file(s)
- 脚本格式：sed -f scriptfile file(s) 命令行格式：
options(参数) : -e , -n
command(动作) : 行定位(正则) + sed命令(操作)
-p (打印相关行 记得跟-n配合，否则会多次打印 ) sed -n 'p' passwd
sed —— 行定位
定位一行： x ; /pattern/
打印第十行： sed -n '10p' passwd (可以使用nl passwd | sed -n '10p' 验证 ) 打印abrt行： sed -n '/abrt/p' passwd
定位几行：x,y ; /pattern/,y ; /pattern1/,/pattern2/ ; x,y!
打印10到20行 ： nl passwd | sed -n '10,20p'
打印news所在行和mail所在行之间的行 ： nl passwd | sed -n '/news/,/mail/p'
不打印news所在行和mooc所在行之间的行 ： nl passwd | sed -n '/uucp/,/rpc/!p'
间隔行定位：first~step
[bozhu@l-xxxxxx.rd.xxxxxx.cn2 ~]$ nl passwd | sed -n '1,2p' -- 静默输出
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
[bozhu@l-xxxxxx.rd.xxxxxx.cn2 ~]$ nl passwd | sed '1,2p' -- 全量+操作行输出(p)
1 root:x:0:0:root:/root:/bin/bash
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
.......
[bozhu@l-xdriverm1.rd.beta.cn2 ~]$ nl passwd | sed -n '1~3p' -- 间隔行定位
1 root:x:0:0:root:/root:/bin/bash
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
10 operator:x:11:0:operator:/root:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
19 postfix:x:89:89::/var/spool/postfix:/sbin/nologin
22 gluster:x:997:995:GlusterFS daemons:/var/run/gluster:/sbin/nologin
25 tjdep:x:30101:1001:tujia deploy user:/home/tjdep:/bin/bash
28 centos:x:50003:50003:Cloud User:/home/centos:/bin/bash
sed 参数
- -e或--expression 以选项中指定的script来处理输入的文本文件。
- -n或--quiet或--silent 仅显示script处理后的结果。 sed 操作命令
- a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
- c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！(全量替换，不是每行替换)
- d ：删除，因为是删除啊，所以 d 后面通常不接任何；
- i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
- p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
[bozhu@l-xxxx.xxxx.xxxx.cn2 ~]$ nl passwd | sed -e '1,2a \ zhangsan'
1 root:x:0:0:root:/root:/bin/bash
zhangsan
2 bin:x:1:1:bin:/bin:/sbin/nologin
zhangsan
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15 dbus:x:81:81:System message bus:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
-- '\' 为操作命令和额外参数的间隔符 例如行前加空格对其的情况
[bozhu@l-xxxx.xxxx.xxxx.xxxx ~]$ nl passwd | sed -e '1,2a \ zhangsan'
1 root:x:0:0:root:/root:/bin/bash
zhangsan
2 bin:x:1:1:bin:/bin:/sbin/nologin
zhangsan
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15 dbus:x:81:81:System message bus:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
[bozhu@l-xxxx.rd.xxxx.xxxx ~]$ nl passwd | sed -e '1,3d'
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
[bozhu@l-xxxx.xxxx.xxxx.xxxx ~]$ nl passwd | sed -e '1,2a \
zhangsan'
1 root:x:0:0:root:/root:/bin/bash
zhangsan
2 bin:x:1:1:bin:/bin:/sbin/nologin
zhangsan
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
[zhubo@l-xxxx.xx.xx.x$ nl passwd | sed -e '2,5c \ zhangsan' -- 整段替换
1 root:x:0:0:root:/root:/bin/bash
zhangsan
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
[zhubo@l-xxxxx.xx.xx.xx ~]$ nl passwd | sed -e '/root/d' -- 正则匹配删除
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
-- 删除空行展示
[zhubo@l-xxxx.xx.xx.x$ sed '/^$/d' passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
字符串替换：s g (g全量替换)
sed 's/要被取代的字串正则/新的字串/g'
如要输出日志文件错误的IP部分：
[zhubo@l-pb-xxx.xx.cn1 /home/tomcat/logs]$ grep -iE 'ERROR' info 2018-12-08 00:13:53.113 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[66.225.251.170] loc failed 2018-12-08 00:17:42.551 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[172.105.240.169] loc failed 2018-12-08 00:32:47.807 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[171.97.148.2] loc failed 2018-12-08 00:35:18.650 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[122.155.45.101] loc failed 2018-12-08 00:36:21.390 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[95.134.248.53] loc failed 2018-12-08 00:38:27.578 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[27.1.208.41] loc failed 2018-12-08 00:46:38.847 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[182.68.246.99] loc failed 2018-12-08 00:47:22.042 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[65.74.21.178] loc failed 2018-12-08 00:55:38.512 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[37.142.242.98] loc failed 2018-12-08 01:07:41.353 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[94.54.26.13] loc failed 2018-12-08 01:13:36.722 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[107.77.226.13] loc failed 2018-12-08 01:24:37.047 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[212.58.120.105] loc failed 2018-12-08 01:25:14.341 ERROR c.t.t.l.core.impl.xxxxx.XXXXXXProvider - 请求失败,code=1,message=Internal Service Error:ip[154.160.14.41] loc failed ......
上面为日志文件的错误部分，接下来将对这部分文本进行处理,截取其中IP的部分输出：
[zhubo@l-xxxx-xxxxx.xx.xxx ~]$ grep -iE 'ERROR' info | sed -n 's/.*\[//p' | sed -n 's/\].*//p' 66.225.251.170 172.105.240.169 171.97.148.2 122.155.45.101 95.134.248.53 27.1.208.41 182.68.246.99 65.74.21.178 37.142.242.98 ......
sed提供了一种将多个sed命令合并执行的方式:{} , 上面的两个sed命令可以合并执行,之间用分号间隔：
[bozhu@l-location-service1.rd.cn1 ~]$ grep -iE 'ERROR' info | sed '{s/.*\[//;s/\].*//}'
66.225.251.170
172.105.240.169
171.97.148.2
122.155.45.101
95.134.248.53
27.1.208.41
....
sed中&的使用,替换固定的字符串(对替换字符的补充) 如 sed 's/要被取代的字串正则/&新的字串/g'
其中&为被取代的字符串
[bozhu@l-location-service1.rd.cn1 ~]$ cat passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin bozhu :x:49012:1005::/home/bozhu:/bin/bash [bozhu@l-location-service1.rd.cn1 ~]$ sed 's/^[a-z_-]\+/&_111/' passwd root_111:x:0:0:root:/root:/bin/bash bin_111:x:1:1:bin:/bin:/sbin/nologin daemon_111:x:2:2:daemon:/sbin:/sbin/nologin adm_111:x:3:4:adm:/var/adm:/sbin/nologin lp_111:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync_111:x:5:0:sync:/sbin:/bin/sync shutdown_111:x:6:0:shutdown:/sbin:/sbin/shutdown halt_111:x:7:0:halt:/sbin:/sbin/halt mail_111:x:8:12:mail:/var/spool/mail:/sbin/nologin operator_111:x:11:0:operator:/root:/sbin/nologin games_111:x:12:100:games:/usr/games:/sbin/nologin ftp_111:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody_111:x:99:99:Nobody:/:/sbin/nologin
注意了上面的+号前面加了转义字符,这是为什么呢,因为在sed中 问号、加号、圆括号、花括号和竖线没有特殊含义，就代表字符本身 如果要原本定义的实现特殊含义，需要用反斜杠（\）转义
大小写转换：(元字符\u \l \U \L 转换为大/小写字符)
将每行的第一个字符转换为大写
[bozhu@l-xxxx-xxxx.xxxx.xxxx ~]$ sed 's/^[a-z_-]\+/\u&/' passwd Root:x:0:0:root:/root:/bin/bash Bin:x:1:1:bin:/bin:/sbin/nologin Daemon:x:2:2:daemon:/sbin:/sbin/nologin Adm:x:3:4:adm:/var/adm:/sbin/nologin Lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin Sync:x:5:0:sync:/sbin:/bin/sync Shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown Halt:x:7:0:halt:/sbin:/sbin/halt Mail:x:8:12:mail:/var/spool/mail:/sbin/nologin Operator:x:11:0:operator:/root:/sbin/nologin Games:x:12:100:games:/usr/games:/sbin/nologin Ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
将文件夹下的txt文件的文件名转换为大写
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ ls *.txt aa.txt info.txt qq.txt [bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ ls *.txt | sed -e 's/^\w\+/\U&/' AA.txt INFO.txt QQ.txt
替换命令中组() 的用法: \1 \2 \3 获取passwd中 USER UID 和 GID
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ cat passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin [bozhu@l-location-service1.rd.cn1 ~]$ sed 's/\(^[a-z1-9._-]\+\):x:\([0-9]\+\):\([0-9]\+\).*/USER:\1 UID:\2 GID:\3/' passwd USER:root UID:0 GID:0 USER:bin UID:1 GID:1 USER:daemon UID:2 GID:2 USER:adm UID:3 GID:4 USER:lp UID:4 GID:7 USER:sync UID:5 GID:0 USER:shutdown UID:6 GID:0 USER:halt UID:7 GID:0 USER:mail UID:8 GID:12 USER:operator UID:11 GID:0 USER:games UID:12 GID:100 USER:ftp UID:14 GID:50 USER:nobody UID:99 GID:99
输出eth0网卡的IP地址信息：
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.10.10.10 netmask 255.255.254.0 broadcast 172.31.31.255
inet6 fe80::a830:5bff:fe3a:4cb4 prefixlen 64 scopeid 0x20<link>
ether aa:30:5b:3a:4c:b4 txqueuelen 1000 (Ethernet)
RX packets 201374082 bytes 54478001978 (50.7 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 148223759 bytes 26295570488 (24.4 GiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ ifconfig eth0 |grep -E 'inet ' | sed 's/inet \([0-9.]\+\) .*/\1/'
172.10.10.10
-r : 复制指定文件插入到匹配行 sed 'pattern r resourcefile' target 读取resourcefile中的内容 插入到target的pattern的匹配行中进行展示 -w : 复制匹配行拷贝到指定文件里 sed 'pattern w targetfile' sourcefile 将sourcefile中指定pattern行 ,覆写入targetfile中
q 提前退出sed
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ nl passwd |sed '5q'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$ nl passwd |sed '/mail/q'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
[bozhu@l-xxxxx-xxxxx.xxxxx.xxxxx ~]$
awk命令 —— 文本与数据处理工具(可编程/统计 制表 及更多功能)
awk的处理方式
- awk一次处理一行内容
- awk可以对每行可以切片处理
awk '{print $1}' // 输出首个单词
awk格式
- 命令行格式 $awk [options] 'command' file(s)
- 脚本格式 $awk f awk-script-file file(s)
命令行格式
- 基本格式
- 扩展格式
基本格式
$awk [options] 'command' file(s) //awk基本格式主要包括两部分，一是options参数 二是command 命令
command : pattern {awk 操作命令} // command命令包括两部分，一是 pattern(模式) 二是 操作命令
pattern : 正则表达式;逻辑判断式 . // 模式可以由 正则表达式和逻辑判断式组成
command操作命令：由大括号括起,它不像sed中只使用简单的命令,也可以使用内置的函数,也可以使用控制指令if else while等等
内置函数：print() prinf() getline....
控制指令：if(){...}else{...} ; while(){...}
awk内置变量及参数应用
- awk内置变量1
$0 : 整个当前行
$1 : 每行第一个字段
$2 : 每行第二个字段 - awk内置参数1：分隔符 -F
options : -F file-separator(默认为空格)
[root@vm1 ~]# awk -F ':' '{print $1 $3}' passwd // 默认print的输出 username 与uid 是连在一起的
root0
bin1
daemon2
adm3
lp4
sync5
shutdown6
halt7
mail8
[root@vm1 ~]# awk -F ':' '{print $1,$3}' passwd // 如果想让他们分割显示可以中间加逗号， 逗号的分割字符是空格
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
[root@vm1 ~]# awk -F ':' '{print $1"\t "$3}' passwd // 也可以在print语句的输出中间加入其它字符串
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
[root@vm1 ~]# awk -F ':' '{print "USER:"$1"\t ""UID:"$3}' passwd
USER:root UID:0
USER:bin UID:1
USER:daemon UID:2
USER:adm UID:3
USER:lp UID:4
USER:sync UID:5
USER:shutdown UID:6
USER:halt UID:7
USER:mail UID:8
-
awk内置变量2
NR:每行的记录行号 Number Of Record NF:每行的字段总数 Number Of Field FILENAME:正在处理的文件名
[root@vm1 ~]# awk -F ':' '{print NR,NF}' passwd // 分别打印行号和字段总数
1 7
2 7
3 7
4 7
5 7
6 7
7 7
8 7
9 7
案例使用
案例一：显示/etc/passwd 每行的行号,每行列数和对应行的用户名(print,printf)
[root@vm1 ~]# awk -F ':' '{print "LINE: "NR,"COL: "NF,"USER:"$1}' passwd
LINE: 1 COL: 7 USER:root
LINE: 2 COL: 7 USER:bin
LINE: 3 COL: 7 USER:daemon
LINE: 4 COL: 7 USER:adm
LINE: 5 COL: 7 USER:lp
LINE: 6 COL: 7 USER:sync
LINE: 7 COL: 7 USER:shutdown
LINE: 8 COL: 7 USER:halt
LINE: 9 COL: 7 USER:mail
[root@vm1 ~]# awk -F ':' '{printf("LINE:%3s COL:%s USER:%s\n" , NR,NF,$1)}' passwd // printf 函数式输出
LINE: 1 COL:7 USER:root
LINE: 2 COL:7 USER:bin
LINE: 3 COL:7 USER:daemon
LINE: 4 COL:7 USER:adm
LINE: 5 COL:7 USER:lp
LINE: 6 COL:7 USER:sync
LINE: 7 COL:7 USER:shutdown
LINE: 8 COL:7 USER:halt
LINE: 9 COL:7 USER:mail
案例二：显示passwd中用户ID大于100的行号和用户名(if...else...)
[root@vm1 ~]# awk -F ':' '{if($3>100) print "Line: "NR , "USER: "$1}' passwd
Line: 17 USER: usbmuxd
Line: 19 USER: rtkit
Line: 20 USER: avahi-autoipd
Line: 22 USER: abrt
Line: 24 USER: nfsnobody
Line: 28 USER: saslauth
Line: 31 USER: pulse
Line: 34 USER: zhubo
找出文件中Manager的薪水，并打印
[root@vm1 opt]# cat employee.txt
100 Thomas Manager Sales $5,000
200 Jason Developer Technology $5,500
300 Raj Sysadmin Technology $7,000
400 Nisha Manager Marketing $9,500
500 Randy Manager Sales $6,000
[root@vm1 opt]# sed -n '/Manager/p' employee.txt | awk '{print $5}'
$5,000
$9,500
$6,000
[root@vm1 opt]# awk '/Manager/{print $5}' employee.txt
$5,000
$9,500
$6,000
[root@vm1 opt]#
awk逻辑判断式
~ !~ : 匹配正则表达式
== , != , < , > : 判断逻辑表达式
[root@vm1 ~]# awk -F ':' '$1~/^r.*/{print $1}' passwd
root
rpc
rtkit
rpcuser
[root@vm1 ~]# awk -F ':' '$1!~/^r.*/{print $1}' passwd // 取反
bin
daemon
adm
lp
sync
shutdown
[root@vm1 ~]# awk -F ':' '$3>100{print $1,$3}' passwd // uid > 100
usbmuxd 113
rtkit 499
avahi-autoipd 170
abrt 173
nfsnobody 65534
saslauth 498
pulse 497
zhubo 500
扩展格式
$ awk [options] 'commands' file(s) command2扩展 ： BEGIN{print "start"}pattern{commands}END{print "end"} BEGIN是在循环之前执行 END是在循环之后执行不参与循环得过程
案例一：显示passwd中每行行号，每行的列数，对应行的用户名
[root@vm1 ~]# awk -F ':' 'BEGIN{print "Line Col User"}{print NR,NF,$1}END{print "------"FILENAME"-----"}' passwd
Line Col User
1 7 root
2 7 bin
3 7 daemon
4 7 adm
5 7 lp
6 7 sync
7 7 shutdown
8 7 halt
9 7 mail
10 7 uucp
11 7 operator
12 7 games
------passwd-----
案例一： 统计当前文件夹下的文件/文件夹占用大小
[root@vm1 ~]# ls -l
总用量 104
-rw-------. 1 root root 1609 7月 7 18:41 anaconda-ks.cfg
-rw-r--r--. 1 root root 46478 7月 7 18:41 install.log
-rw-r--r--. 1 root root 10033 7月 7 18:39 install.log.syslog
-rw-r--r--. 1 root root 1620 12月 10 21:19 passwd
drwxr-xr-x. 2 root root 4096 7月 7 10:53 公共的
drwxr-xr-x. 2 root root 4096 7月 7 10:53 模板
drwxr-xr-x. 2 root root 4096 7月 7 10:53 视频
drwxr-xr-x. 2 root root 4096 7月 7 10:53 图片
drwxr-xr-x. 2 root root 4096 7月 7 10:53 文档
drwxr-xr-x. 2 root root 4096 7月 7 10:53 下载
drwxr-xr-x. 2 root root 4096 7月 7 10:53 音乐
drwxr-xr-x. 2 root root 4096 7月 7 10:53 桌面
[root@vm1 ~]# ls -l | awk 'BEGIN{size=0}{size+=$5}END{print "size is "size}'
size is 92508
[root@vm1 ~]# ls -l | awk 'BEGIN{size=0}{size+=$5}END{print "size is "size/1024"K"}'
size is 90.3398K
案例二：统计显示passwd的账户总人数
[root@vm1 ~]# awk -F ':' 'BEGIN{count=0}$1!~/^$/{count++}END{print count}' passwd //排除空行
34
统计UID>100的账户总人数
[root@vm1 ~]# awk -F ':' 'BEGIN{count=0}{if ($3>100) name[count++]=$1}END{for(i=0;i<count;i++) print i,name[i]}' passwd
0 usbmuxd
1 rtkit
2 avahi-autoipd
3 abrt
4 nfsnobody
5 saslauth
6 pulse
7 zhubo
案例三： 统计netstat -amp 状态下 LISTEN和CONNECTED的连接状态
[root@vm1 ~]# netstat -anp
Proto RefCnt Flags Type State I-Node PID/Program name Path
unix 2 [ ] STREAM LISTENING 15997 2268/gnome-session @/tmp/.ICE-unix/2268
unix 2 [ ] STREAM LISTENING 15723 2181/Xorg /tmp/.X11-unix/X0
unix 2 [ ] STREAM LISTENING 15998 2268/gnome-session /tmp/.ICE-unix/2268
unix 2 [ ] STREAM LISTENING 16065 2275/gconfd-2 /tmp/orbit-gdm/linc-8e3-0-3681d67c590fa
unix 2 [ ] STREAM LISTENING 16139 2268/gnome-session /tmp/orbit-gdm/linc-8dc-0-756f0d535b355
unix 2 [ ] STREAM LISTENING 16240 2295/gnome-settings /tmp/orbit-gdm/linc-8f7-0-2d979a559d723
unix 2 [ ] STREAM LISTENING 16312 2297/bonobo-activat /tmp/orbit-gdm/linc-8f9-0-3e19569c5dda2
unix 3 [ ] STREAM CONNECTED 16738 1622/dbus-daemon /var/run/dbus/system_bus_socket
unix 3 [ ] STREAM CONNECTED 16737 2317/polkitd
unix 3 [ ] STREAM CONNECTED 16653 1622/dbus-daemon /var/run/dbus/system_bus_socket
unix 3 [ ] STREAM CONNECTED 16652 2311/polkit-gnome-a
unix 3 [ ] STREAM CONNECTED 16747 2311/polkit-gnome-a /tmp/orbit-gdm/linc-907-0-116ec6d6f190f
unix 3 [ ] STREAM CONNECTED 16649 2294/at-spi-registr
unix 3 [ ] STREAM CONNECTED 16646 2294/at-spi-registr /tmp/orbit-gdm/linc-8f6-0-3a2c08ec5e139
unix 3 [ ] STREAM CONNECTED 16645 2311/polkit-gnome-a
unix 3 [ ] STREAM CONNECTED 16642 2181/Xorg @/tmp/.X11-unix/X0
unix 3 [ ] STREAM CONNECTED 16641 2311/polkit-gnome-a
unix 3 [ ] STREAM CONNECTED 16633 2309/gnome-power-ma /
[root@vm1 ~]# netstat -anp | awk '$6~/CONNECTED|LISTEN/{sum[$6]++}END{for(i in sum) print i , sum[i]}'
CONNECTED 226
LISTEN 12
公众号
以上所述就是小编给大家介绍的《文本处理工具 grep awk sed完全解读 原 荐》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 腾讯AI Lab深度解读文本生成技术相关论文
- MNLP2018：腾讯AI Lab深度解读交互文本理解相关论文
- 基于标签特定文本表示的文本多标签分类
- 论文浅尝 | 通过文本到文本神经问题生成的机器理解
- 文本挖掘从小白到精通（三）---主题模型和文本数据转换
- Phoenix解读 | Phoenix源码解读之索引
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
