首页 > 其他 > 详细

正则sed/awk的用法

时间:2019-09-20 02:46:25      阅读:97      评论:0      收藏:0      [点我收藏+]
*sed可以实现一些grep的功能,但是稍微麻烦了一些,sed的强项在于删除文件中的内容和替换

sed实现grep检索功能:

1.根据关键字检索:

[root@localhost ~]# sed -n ‘/root/‘p passwd.txt 

*使用sed检索时需要在关键字前加-n参数,关键字后加p,关键词还需要用 // 包括起来

2.关键字有特殊符号时加上 -r 参数或使用脱义符

[root@localhost ~]# sed -nr ‘/o+t/‘p passwd.txt 

3.打印指定行:(打印指定行时直接写行号即可,不需要加//符号括起来)

[root@localhost ~]# sed -n ‘5‘p passwd.txt 
[root@localhost ~]# sed -n ‘5,$‘p passwd.txt   #打印第五行至最后一行

4.-e 参数:使用多个表达式:

[root@localhost ~]# sed -e ‘1‘p -e ‘/root/‘p -n passwd.txt 

*打印第一行内容并检索包含root的行,如果第一行同时包含root,那么第一行会被打印两次

5.不区分大小写:(加上大写的i)

[root@localhost ~]# sed -n ‘/testword/‘Ip passwd.txt 

sed删除功能:

1.删除打印结果中指定的行:

[root@localhost ~]# wc -l passwd.txt 
22 passwd.txt
#查看文件行数

[root@localhost ~]# sed ‘1,20‘d passwd.txt 
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
#删除第1-20行,打印剩余的行

[root@localhost ~]# wc -l passwd.txt 
22 passwd.txt
#该操作不会真实删除文件内容,只是删除打印结果

2.-i 参数:删除文件中指定的行(加上 -i参数后会真实删除文件内容)

[root@localhost ~]# wc -l passwd.txt 
22 passwd.txt
[root@localhost ~]# sed -i ‘1,20‘d passwd.txt 
[root@localhost ~]# wc -l passwd.txt 
2 passwd.txt

*用于在删除大日志文件内容时比较常用

sed替换功能:

1.根据关键字替换:

[root@localhost ~]# cat passwd.txt 
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed ‘s/chrony/sed_test/g‘ passwd.txt 
sed_test:x:998:996::/var/lib/sed_test:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

*格式: ‘s/ 被替换关键字 / 替换内容 /g‘

2.特殊符号匹配时加 -r 参数:

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -r ‘s/n+y/sed_test/g‘ passwd.txt 
sed_test:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

3.分段替换位置:

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -r ‘s/([^:]+):(.*):([^:]+)/\3:\2:\1/g‘ passwd.txt 
/sbin/nologin:x:998:996::/var/lib/chronwy:nnnnny
/bin/bash:x:1000:1000::/home/linux01:linux01

*使用冒号分割为3段,将第三段和第一段位置互换

4.配置关键词为目录路径时加上脱义符或使用其他替换符号:

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed ‘s/\/bin\/bash/AAAAAAA/g‘ passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:AAAAAAA

[root@localhost ~]# sed ‘s#/bin/bash#AAAAAAA#g‘ passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:AAAAAAA

5.删除所有字母:

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed ‘s/[a-zA-Z]//g‘ passwd.txt 
::998:996::///://
01::1000:1000:://01://

6.在每行前添加内容:

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -r ‘s/.*/sed_test:&/g‘ passwd.txt 
sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

*匹配每行所有内容:.*,&符号代表.*的内容

7.真实替换文件中的内容:-i 参数(以上6条示例都不会实际更改文件内容,只更改替换完成的打印输出结果)

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -i ‘s/.*/sed_test:&/g‘ passwd.txt 

[root@localhost ~]# cat passwd.txt 
sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

补充:
把每个单词的第一个小写字母变大写:
sed ‘s/\b[a-z]/\u&/g‘ filename

把所有小写变大写:
sed ‘s/[a-z]/\u&/g‘ filename

大写变小写:
sed ‘s/[A-Z]/\l&/g‘ filename

sed在某一行最后添加一个数字
sed -r ‘s/(^a.*)/\1 12/‘ test
sed -r ‘s/^a.*/& 12/‘ test

打印1到100行含某个字符串的行
sed -n ‘1,100{/abc/p}‘ 1.txt


*awk相比grep/egrep/sed的功能更加强大,默认支持拓展正则表达式,grep需要加 -E 参数,sed需要加 -r 参数

1.分割文件内容打印指定段数:

[root@localhost ~]# cat test.txt 
zhangsan 100
lisi     92
wangwu   95
user1    88
user2    93
[root@localhost ~]# awk ‘{print $1}‘ test.txt 
zhangsan
lisi
wangwu
user1
user2

*默认以空格为分隔符,$指定打印的段数

2.-F参数:指定分隔符:

[root@localhost ~]# cat passwd.txt 
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘{print $3}‘ passwd.txt 
nnnnny
linux01
#打印多段时用逗号区分
[root@localhost ~]# awk -F ‘:‘ ‘{print $1,$3}‘ passwd.txt 
AAAA nnnnny
AAAA linux01
#指定打印结果中段与段的分割符号
[root@localhost ~]# awk -F ‘:‘ ‘{print $1"-->"$3}‘ passwd.txt 
AAAA-->nnnnny
AAAA-->linux01

*awk {print $0}表示打印所有,相当于cat

3.awk检索:(相当于grep)

[root@localhost ~]# cat passwd.txt 
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk ‘/nnn/‘ passwd.txt 
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

4.检索指定段中包含关键字的行:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$1 ~/AAA/‘ passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

5.多个表达式组合使用:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘/linux/ {print $1,$3} /nnn/ {print $2,$3}‘ passwd.txt 
sed_test nnnnny
AAAA linux01

*打印包含linux关键字的行的第1和第3段,打印包含nnn关键字的第2和第3段

6.检索多个关键词的行并指定打印段:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘/linux|nnn/ {print $1}‘  passwd.txt 
ABCD
AAAA

7.通过运算符号检索:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$5==1000‘ passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$5==1000 {print $1}‘ passwd.txt 
AAAA

8.针对数字判断时,不加双引号,否则判断条件会被当做字符串而不是数字(数字当做字符串判断时,根据ASCII码判断,998大于1000):

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$5<1000‘ passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
#加上双引号后1000被当做了字符串,而不是数字
[root@localhost ~]# awk -F ‘:‘ ‘$5<"1000"‘ passwd.txt 
[root@localhost ~]# 

9.字符串判断:(判断字符串时判断条件加上双引号)

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$9!="/sbin/nologin"‘ passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

10.两个字段之间比较和多个条件检索:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$5>$6‘ passwd.txt  
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

[root@localhost ~]# awk -F ‘:‘ ‘$5>$6 {print $5,$6}‘ passwd.txt  
998 996

[root@localhost ~]# awk -F ‘:‘ ‘$5>999‘ passwd.txt  
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘$5>900 && $6<999‘ passwd.txt  
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

[root@localhost ~]# awk -F ‘:‘ ‘$5>999 || $9=="/sbin/nologin"‘ passwd.txt  
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

*最后一种字符串判断除了用==符号还可以用~检索

11.OFS:指定打印结果分隔符:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘{OFS="***"} {print $1,$2,$3}‘ passwd.txt  
ABCD***sed_test***nnnnny
AAAA***sed_test***linux01

[root@localhost ~]# awk -F ‘:‘ ‘{OFS="***"} $5<1000 {print $1,$2,$3}‘ passwd.txt  
ABCD***sed_test***nnnnny

12.NR:在每行前面显示行数:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘{print NR":" $0}‘ passwd.txt 
1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

13.NF:在每行前面显示段数:

[root@localhost ~]# awk -F ‘:‘ ‘{print NF":" $0}‘ passwd.txt 
9:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
9:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

14.根据行数或者段数显示指定的行:
1)显示行号小于2的行:

[root@localhost ~]# awk -F ‘:‘ ‘{print NR":" $0}‘ passwd.txt 
1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk ‘NR<2‘ passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

2)显示前10行并且第一段为AAAA的行:

[root@localhost ~]# awk -F ‘:‘ ‘NR<10 && $1 ~/AAAA/‘ passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

15.=和==的区别:(==是匹配相等的数字或字符串,=是赋值)

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ":" ‘$1=="ABCD"‘ passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

[root@localhost ~]# awk -F ":" ‘$1="hello"‘ passwd.txt 
hello sed_test nnnnny x 998 996  /var/lib/chronwy /sbin/nologin
hello sed_test linux01 x 1000 1000  /home/linux01 /bin/bash

16.求和:

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ‘:‘ ‘{(tot=tot+$5)}; END {print tot}‘ passwd.txt 
1998

补充:

. 表示任意1个字符

* a b o 前面的这个字符有0或者多个
abc* ===> ab、abccc

.* 贪婪匹配

? 扩展正则 表示:?前面的字符有0个或1个
a1? ==> a or a1

+ 扩展正则 表示:+前面的字符有1个或多个

| 扩展正则 表示:或者
egrep ‘abc|123‘ 1.txt

[ ] 表示方括号里面的1个字符
[a-zA-Z0-9] 表示所有大小写字母和数字
[abc] 表示a或b或c
[a|@] 表示a或|或@
[^] 表示非,取反

^ 表示开头

$ 表示结尾

{ } 表示范围
a{1,5} ===> a或aa或aaa或aaaa或aaaaa
b{3} ===> bbb

( ) 小括号里面的字符看成一个整体
(abc){2} ==》 abcabc
(abc)+ ==>abc或abcabc或abc*n
abc{2} ==> abcc

扩展正则符号: ? + | { } 使用时grep -E 、sed -r

正则sed/awk的用法

原文:https://blog.51cto.com/14520558/2439488

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!