13_Linux基础-SHELL命令-wc-diff-patch-bc-awk

发布于 更新于 Linux , 评论
注：点击此处或下方 以展开或折叠目录

一. 回顾

sort

sort

1
2
3
4
5
6
格式：sort 选项 文件
-n	按数值进行排序
-r	降序排序
-k	指定排序的列
-t	指定分隔符
-u	去重

uniq

uniq

1
2
3
4
格式：uniq 选项 文件
-c	统计每列在文本中出现的次数
-u	仅显示出现一次的行
-d	仅显示重复出现的行

cut

cut

1
2
3
4
格式：cut 选项 提取范围 文件
-d	指定分隔符
-f	指定显示的特定字段
-c	指定特定字符

文本三剑客

1
2
3
4
5
6
7
8
grep 过滤 通用的正则表达式分析程序
grep [选项]... 模式 目标文件
-i	不区分大小写
-v	反转查找，不显示包含指定字符的行
-o	显示匹配的内容，并且换行显示
-n	显示出过滤出来的行的行号
-r	递归查找指定目录下所有的文件（包括其子目录）
-E	支持更多的正则扩展表达式

正则表达式

1
2
^aa	以aa开头的行
Aa$	以aa结尾的行

通配符

1
2
3
4
5
6
7
*	表示匹配前一项任意次
?	表示匹配前一次0次或1次
+	表示匹配前一项一次到多次
.	（占位符）表示除换行符之外的任意字符
{n,m}		匹配n到m次
{,n}		匹配0次到n次
{m,}		匹配m次以上
1
2
3
4
[]集合表示
[a-zA-Z]
[0-9]
[^a]		表示不取a
1
2
3
4
5
示例
---------------------------------------------------------------------------------------------------------------------------------
# grep -E "a.*c" grep_test.txt 				# 注：.* 匹配前一项 . 0次或任意次
# grep -E "a*c" abc.txt --color=auto		# 注：*  匹配前一项 a 0次或任意次
# grep -E "a+c" abc.txt --color=auto		# 注：+  匹配前一项 a 1次或多次

二. wc

wc（字数统计）命令

格式：wc [选项]... 目标文件...

  • -l：统计行数

  • -w：统计字数 （前后都是空白的一组字符）

  • -c：统计字符数（可见和不可见的字符）

注：wc文本操作命令，可以直接接文本，不需要用cat

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@sanchuang-linux ~]# cat wc_test.txt 
a b c
aa bb cc
xyz
1234
aa-bb

示例
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# wc -l wc_test.txt 	# 注：统计行数
5 wc_test.txt
[root@sanchuang-linux ~]# wc -w wc_test.txt 	# 注：统计字数
9 wc_test.txt
[root@sanchuang-linux ~]# wc -c wc_test.txt 	# 注：统计字符数
30 wc_test.txt
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# cat wc_test.txt|wc -c		# 写法2：cat
30
[root@sanchuang-linux ~]# wc -c < wc_test.txt 		# 写法3：重定向
30

三. diff

diff命令

  • 比较两个文件之间的差异

  • 输出结果为两个文件的不同之处

diff命令的输出格式

  • 标准diff

  • -u：会将不同的地方放在一起，紧凑易读

  • -r： 递归比较目录下的所有文件

利用diff命令生成补丁

  • diff -u test1 test2 > test.patch

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
[root@sanchuang-linux ~]# cat diff_1_test.txt
aa
bb
cc
xx
[root@sanchuang-linux ~]# cat diff_2_test.txt
aa
bb
xx

示例1
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# diff diff_1_test.txt diff_2_test.txt 
3d2							# 注：3d2  文件1个第3行 需要删除 就会和 文件2相同
< cc						# 注：文件1 中的cc
============================================================================================

[root@sanchuang-linux ~]# cat diff_1_test.txt
aa
bb
cc
xx
gg
[root@sanchuang-linux ~]# cat diff_2_test.txt
aa
bb
dd
xx
ee

示例2
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# diff diff_1_test.txt diff_2_test.txt 
3c3											# 注：第3行
< cc										# 注：文件1 中的cc
---
> dd										# 注：文件2 中的dd
5c5											# 注：第5行
< gg										# 注：文件1 中的gg
---
> ee										# 注：文件2 中的ee
--------------------------------------------------------------------------------------------
============================================================================================

示例3：-u：会将不同的地方放在一起，紧凑易读
[root@sanchuang-linux ~]# diff -u diff_1_test.txt diff_2_test.txt 
--- diff_1_test.txt	2020-10-30 11:50:45.784010843 +0800
+++ diff_2_test.txt	2020-10-30 11:51:11.475010836 +0800
@@ -1,5 +1,5 @@
 aa
 bb
-cc											# 注：理解为 左 - 右 +
+dd											# 注：或者理解为 左边 -cc +dd 就和右边相同
 xx
-gg
+ee

四. patch

patch命令：

  • 用途：用来打补丁修补文件

  • 格式：patch [选项] 原始文件 < 补丁文件

  • -pN： N表示忽略N层路径

  • -R： 还原到老版本

注意事项

  • 如果打多个补丁，注意先后顺序

  • 打补丁前不要修改源文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
示例
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# yum install patch
[root@sanchuang-linux ~]# diff diff_1_test.txt diff_2_test.txt 	
3c3							# 注：差异内容
< cc
---
> dd
5c5
< gg
---
> ee

#注：差异文件又叫补丁文件
#注：生成的是文件1的补丁文件
[root@sanchuang-linux ~]# diff -u diff_1_test.txt diff_2_test.txt > diff_test.patch # 注：1的补丁
[root@sanchuang-linux ~]# cat diff_test.patch 		#注：补丁文件
--- diff_1_test.txt	2020-10-30 11:50:45.784010843 +0800
+++ diff_2_test.txt	2020-10-30 11:51:11.475010836 +0800
@@ -1,5 +1,5 @@
 aa
 bb
-cc
+dd
 xx
-gg
+ee
[root@sanchuang-linux ~]# patch diff_1_test.txt < diff_test.patch 	# 注：打补丁
patching file diff_1_test.txt
[root@sanchuang-linux ~]# cat diff_1_test.txt 						# 注：打补丁
aa
bb
dd
xx
ee
[root@sanchuang-linux ~]# cat diff_2_test.txt 		# 注：文件1、2内容相同
aa
bb
dd
xx
ee

五. grep -A\-B

-A：找到匹配行以及后几行

-B：输出匹配行以及前几行

1
2
3
示例
[root@localhost ~]# grep -A 3 quit /etc/passwd		# 注：找到匹配行以及后几行
[root@localhost ~]# grep -B 3 quit /etc/passwd		# 注：输出匹配行以及前几行

六. free -g

看内存使用率 free -g

1
2
3
4
5
6
7
8
[root@sanchuang-linux ~]# free -g		# 注：看内存使用率 ，-g单位G ， -m单位M
              total        used        free      shared  buff/cache   available
Mem:              1           0           1           0           0           1
Swap:             1           0           1
[root@sanchuang-linux ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1800         272        1101           8         426        1363
Swap:          2047           0        2047

七. 编写脚本

1
2
3
4
5
6
7
8
9
10
实现以下功能
1、监控内存使用情况,如果内存使用率大于百分之80，给予提醒
	total free 使用率
2、扫描局域网ip,检查哪些ip地址正在使用
	ping -c 1		# 注：发送1个包
3、监控文件/etc/passwd是否被修改，每隔5分钟监控一次
	diff
	md5sum	# md5值，文件的唯一标识
4、监控nginx进程是否存在，不存在就给予相应提醒
	pidof nginx
1
2
3
4
5
6
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# md5sum abc.txt 			# 注：md5值
2416b02c3d9d753f48cf49dbb5f1de94  abc.txt
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# pidof nginx				# 注：显示指定程序的进程号
12767 12766 12765

7.1 监控内存使用情况,如果内存使用率大于百分之80，给予提醒

​ total free 使用率

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
示例
--------------------------------------------------------------------------------------------
#!/bin/bash
function mem(){
    total=`free -m|grep -i mem|tr -s " "|cut -d " " -f2`
    #free=`free -m|grep -i mem|tr -s " "|cut -d " " -f4`
    used=`free -m|grep -i mem|tr -s " "|cut -d " " -f3`
    used_rate=`echo "scale=4;$used/$total" |bc`
    #used_1=`echo "$total*0.8"|bc `
    result=` echo "$used_rate>0.8"|bc `
    echo $result
    if (( $result  == 1 ))
    then
        echo -e "\e[31m使用率超过80%，请及时对内存扩容，以免不必要的损失\e[0m"
    else
        echo  " nothing to do"
    fi
}
mem
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# bash mem_test.sh
0
 nothing to do
============================================================================================
知识点7.1.1 bc 命令
菜鸟教程：https://www.runoob.com/linux/linux-comm-bc.html
bc 命令是任意精度计算器语言，通常在linux下当计算器用
[root@localhost ~]# yum install bc -y
[root@sanchuang-linux ~]# used=`free -m|grep -i mem|tr -s " "|cut -d " " -f3`
[root@sanchuang-linux ~]# total=`free -m|grep -i mem|tr -s " "|cut -d " " -f2`
[root@sanchuang-linux ~]# echo "scale=2;$used/$total" |bc	# 注：保留2位小数
.16
[root@sanchuang-linux ~]# echo "scale=3;$used/$total" |bc	# 注：保留3位小数
.165
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# free -m|grep -i mem|tr -s " "|cut -d " " -f2 # 注：-i 不区分大小写
1800
[root@sanchuang-linux ~]# use_rate=`echo "scale=4;$used/$total" |bc`
[root@sanchuang-linux ~]# echo "$use_rate>0.8"|bc	# 注：为假返回0
0
[root@sanchuang-linux ~]# echo "0.7>0.8"|bc			# 注：为假返回0
0
[root@sanchuang-linux ~]# echo "0.9>0.8"|bc			# 注：为真返回1
1		# 注：这返回的应该是布尔值0假1真，而不是命令执行失败的值。$?都为0 ，命令执行成功
############################################################################################
知识点7.1.2 小数的运算
小数的运算：
1、可以使用bc
[root@sanchuang-linux ~]# echo "scale=3;1/3"|bc		# 注：保留3位小数
.333
[root@sanchuang-linux ~]# echo "0.7>0.8"|bc			# 注：不成立返回0
0
[root@sanchuang-linux ~]# echo "0.9>0.8"|bc			# 注：成立返回1
1

2、awk 选项
语法：awk 选项 ‘模式+动作’ 文件
常用选项：
-F	指定分隔符

内置变量
NR	awk里表示每一行的行号
NF	awk的列号

模式

示例
--------------------------------------------------------------------------------------------
[root@localhost ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           3770         195        3274          11         300        3348
Swap:          2047           0        2047
[root@localhost ~]# free -m|awk 'NR==2{print $2}'		# 注：打印第二行 第2个变量
3770													# 注：NR 行号 ， $2 第2个变量
[root@localhost ~]# free -m|awk 'NR==2{print $3}'		# 注：打印第二行 第3个变量
194
============================================================================================
[root@sanchuang-linux ~]# free -m|awk '/Mem/{print $3/$2}'		# 注：计算小数，过滤出Mem
0.156111														# 注：过滤出Mem 这1行
[root@sanchuang-linux ~]# free -m|awk '/Mem/{printf "%.2f\n", $3/$2}'	# 注：保留2位的浮点数
0.16															# 注：\n换行输出

7.2 扫描局域网ip,检查哪些ip地址正在使用

​ ping -c 1 # 注：发送1个包

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
方法1
--------------------------------------------------------------------------------------------
scan_ip(){
    for ip in `seq 255`
    do
        ( ip_full=192.168.0.$ip
        ping -c 1 $ip_full &>/dev/null && echo $ip_full >>up.txt || echo $ip_full >>down.txt
        ) &	# 注：放到后台子进程执行
    done
wait # 父进程等待子进程执行完成之后再退出
}
scan_ip

方法2
--------------------------------------------------------------------------------------------
scan_ip(){
    for ip in 192.168.0.{1..255}					# 注：1-255可以这么写
    do
        ( 
        ping -c 1 $ip &>/dev/null && echo $ip >>up.txt || echo $ip >>down.txt
        ) & 
    done
wait #注：作用：父进程等待子进程执行完成之后再退出
}
scan_ip
注：后台进程
命令 &	   产生子bash进程去执行命令的任务
wait		父进程等待子进程结束之后再退出
============================================================================================

[root@sanchuang-linux ~]# ip=45
[root@sanchuang-linux ~]# ip_full=192.168.0.$ip			# 注：shell 字符串的拼接
[root@sanchuang-linux ~]# echo $ip_full 
192.168.0.45
[root@sanchuang-linux ~]# top							# 注：查看cpu

7.3 监控nginx进程是否存在，不存在就给予相应提醒

​ pidof nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
示例
--------------------------------------------------------------------------------------------
check_nginx(){
    pidof nginx && echo "nginx is running" || echo "nginx is down"
    #if [[ $? -eq 0 ]]
    #then
    #    echo "nginx is running"
    #fi
}
check_nginx
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# pidof nginx
12767 12766 12765
[root@sanchuang-linux ~]# echo $?					# 注：返回值为0表示成功
0

7.4 监控文件/etc/passwd是否被修改，每隔5分钟监控一次

​ diff

​ md5sum # md5值，文件的唯一标识

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
示例
--------------------------------------------------------------------------------------------
check_monitor(){
    check_num=`differ /etc/passwd /lianxi/passwd |wc -l`
    [[ check_num -eq 0 ]] && echo "文件未被修改" || echo "文件已被修改"
}
check_monitor
--------------------------------------------------------------------------------------------
[root@sanchuang-linux ~]# cp /etc/passwd /lianxi/passwd
cp：是否覆盖'/lianxi/passwd'？ y
[root@sanchuang-linux ~]# diff /etc/passwd /lianxi/passwd
[root@sanchuang-linux ~]# echo $?	# 注：即使文件不被修改，返回也为0 （理解为命令执行成功）
0									# 注：所以不能直接用类三元运算 去判断
[root@sanchuang-linux ~]# diff /etc/passwd /lianxi/passwd
[root@sanchuang-linux ~]# diff /etc/passwd /lianxi/passwd|wc
      0       0       0
[root@sanchuang-linux ~]# diff /etc/passwd /lianxi/passwd|wc -l
0
#注：判定依据 diff 是否输出内容
	没有输出内容，wc -l 行数为0，说明文件未被修改
#注：文件是否被修改，想到diff命令

Mycpen记录学习历程与受益知识

Mycpen