一.Sed --流编辑器
1. sed简介
Sed：Stream Editor 流式编辑器 又称行编辑器，每次只编辑一行。Sed工作是在“模式空间”中进行的，并不操作源文件。对源文件无危害。
工作流程:
文件 --> 内存 --> 编辑 --> 标准输出/保存到文件
2.sed使用格式
sed [OPTION]... {script-only-if-no-other-script} [input-file]...
常用选项(OPTION):
-n：只显示sed匹配到的行。其余行不显示。
-i：可以直接操作原文件。默认情况下sed不会改变原文件，但是-i选项可以修改原文件，此选项应慎用。
-r：可以使用标准正则表达式。默认情况下sed只支持基本正则表达式，但是加上-r选项后则支持扩展正则表达式
-e：可以同时执行多个命令
常用格式：
(1)Sed [options] 'script' input_file……
(2)Sed [options] -f script_file input_file……
(3)Sed [options] 'ADDR1,ADDR2command' input_file……
(4)Sed [options] '/PATTERN/command' input_file……
(5)Sed '/PATTERN1/,/PATTERN2/command' input_file……
3. 常用命令(command)
3.1 打印p(print)
# sed -n '3p' /etc/passwd --打印第3行
# sed -n '1,3p' /etc/passwd --打印第1到第3行
# sed -n '1,$p' /etc/passwd
# nl /etc/passwd | sed -n '5,7p' --打印第5到第7行
# head -5 /etc/passwd |sed -ne '1p;4p' --打印第1行和第4行
# nl /etc/passwd | sed -n '/root/p' --查找包含root的行
# cat /etc/passwd | sed -n '/^root/p'
# ifconfig eth1 | sed -n '2p' | awk -F: '{print $2}' | awk '{print $1}' --截取ip
# head -5 /etc/passwd |sed -ne '/^[[:upper:]]/p;/^[a-z]/p' --分别打印大写字母开头的行和小写字母开头的行
# head -5 /etc/passwd |sed -ne '/^[[:upper:]]/,/^[a-z]/p' --用正则表达式实现范围打印
# head -5 /etc/passwd |sed -ne '/^[[:upper:]]/,/nologin$/p'
# head -5 /etc/passwd |sed -n '/^[^[:blank:]]/p' --打印非空格开头的行
比较awk
head -5 /etc/passwd |cat -n | sed -n '1,4p'
head -5 /etc/passwd |cat -n | awk 'NR<5 {print $0}'
head -5 /etc/passwd |cat -n | sed -n '1p;3p;5p'
head -5 /etc/passwd |cat -n | awk 'NR==1 || NR==3 || NR==5 {print $0}'
head -5 /etc/passwd |cat -n | sed -n '/root/p;/daemon/p;/lp/p'
head -5 /etc/passwd |cat -n | awk '$0~"root" || $0~"daemon" || $0~"lp" {print $0}'
3.2 删除用法，以行为单位d(delete)
sed的语法：
sed '范围d' file
如果不指定范围，默认范围是整个文件。
实例：
# sed '1d' /etc/passwd --删除之一行，第二行2d，第三行3d，以此类推，最后一行$d
# sed '1,3d' /etc/passwd --删除第1行到第3行，中间是逗号
# sed '1d;3d' /etc/passwd --删除第1行和第3行，中间是分号
# sed -e '1d' -e '3d' /etc/passwd --删除第1行和第3行
# sed --expression='1d' --expression='3d' /etc/passwd
# sed '/^root/d' /etc/passwd --使用正则表达式，要加双斜杠
# sed '/root/,/sync/d' /etc/passwd --删除包含root到sync的行
# sed '/root/!d' /etc/passwd --!表示后面的命令对所有没有被选定的行发生作用
# head -5 /etc/passwd |cat -n |sed '2d' --指定删除第二行
# head -5 /etc/passwd |cat -n |sed '2,3d' --删除第二行到第三行，中间为逗号，表示范围
# head -5 /etc/passwd |cat -n |sed '1d;5d' --删除之一行和第五行，中间为分号，表示单独的操作
# head -5 /etc/passwd |cat -n |sed '1d;5d;3d'
# head -5 /etc/passwd |cat -n |sed '1,3d;5d'
# head -5 /etc/passwd |sed '/daemon/d'
练习：把上面的使用awk来实现，做对比
# head -5 /etc/passwd |cat -n |awk 'NR!=2 {print $0}'
# head -5 /etc/passwd | nl | awk 'NR!=2 && NR!=3{print $0}'
# head -5 /etc/passwd |awk 'NR!=1 && NR!=3 && NR!=5 {print $0}' --删除第三行和第五行
# head -5 /etc/passwd |cat -n |awk 'NR<3 || NR>5 {print $0}' --删除第三行到第五行
# head -5 /etc/passwd |awk '$0!~"daemon" {print $0}' --和上面sed使用正则表达式一样，awk用匹配来实现有daemon关键字的行就删除
--利用正则表达式来匹配行
# head -n 5 /etc/passwd |cat -n |sed -e '/oo/d' --删除匹配oo的行
# head -n 5 /etc/passwd |sed -e '/^root/d' --删除以root开头的行
# head -n 5 /etc/passwd |sed -e '/bash$/d' --删除以bash结尾的行
# cat /etc/inittab |sed -e '/^$/d' --删除空行
# head -n 5 /etc/passwd |sed -e '/^[a-z]/d' --删除小写字母开头的行，用[a-z]表示
# head -n 5 /etc/passwd |sed -e '/^[A-Z]/d'--删除大写字母开头的行，用[A-Z]表示
# head -n 5 /etc/passwd |sed -e '/^[a-Z]/d' --删除以字母开头的行，用[a-Z]表示，小写的a到大写的Z
# head -n 5 /etc/passwd |sed -e '/^[[:alpha:]]/d' --也是删除以字母开头的
# head -n 5 /etc/passwd |sed -e '/^[[:digit:]]/d' --删除以数字开头的
# head -n 5 /etc/passwd |sed -e '/^[[:upper:]]/d' --删除以大写字母开头的
# head -n 5 /etc/passwd |sed -e '/^[[:lower:]]/d' --删除以小写字母开头的
# head -n 5 /etc/passwd |sed -e '/^[[:punct:]]/d' --删除以标点符号开头的
# head -n 5 /etc/passwd |sed -e '/^[[:blank:]]/d' --删除以空格开头的
# head -n 5 /etc/passwd |sed -e '/^ /d' --同上
# head -n 5 /etc/passwd |sed -e '/^\ /d' --同上
# cat /etc/inittab |sed -e '/^#/d;/^$/d' --删除/etc/inittab的空行和注释
# cat /etc/samba/***b.conf |sed '/#/d;/^$/d;/^;/d' --删除samba配置文件的注释和空行，注意有几个#号开头的注释不是顶格，所以#只匹配就行
练习：删除vsftpd.conf,***b.conf,main.cf里所有的注释和空行
# sed '/^#/d;/^$/d' /etc/vsftpd/vsftpd.conf
# sed '/^#/d;/^$/d;/^ /d' /etc/postfix/main.cf
# sed '/#/d;/^$/d;/^;/d;/^\t$/d' /etc/samba/***b.conf
3.3 替换用法
sed的语法：
sed '范围 s/老字符/新字符/标记' file
sed '范围 s#老字符#新字符#标记' file
如果不指定范围，默认范围是整个文件。
sed 'y/老字符/新字符/'
实例：
# head -5 /etc/passwd | nl |sed '1,4s/nologin/NOLOGIN/g'
# sed 's#nologin#NOLOGIN#g' /etc/passwd --g是标记，表示全部，也可以使用数字，1,2,3等进行替换，#号只有替换的时候才能用
# sed 's/nologin/NOLOGIN/g' /etc/passwd
# sed '1s/root/--&--/2' /etc/passwd --老字符支持正则表达式，新字符不支持正则表达式，除了"\n\&"，这里的"&"表示前面的关键字
# sed '1{s/root/ROOT/;s/bin/BIN/}' /etc/passwd --多次替换使用花括号和分号
# sed 'y/abc/xyz/' file --y也是替换，a->x b->y c->z
# cat /etc/sysconfig/network-scripts/ifcfg-eth0 | sed '/^onboot/c\onboot=yes' --将onboot开头的行替换成onboot=yes，行替换
# cat /etc/sysconfig/network-scripts/ifcfg-eth0 | sed 's/ONBOOT="no"/ONBOOT="yes"/'
# head -5 /etc/passwd |sed -e 's/root/sed/'
# head -5 /etc/passwd |sed -e 's/:/@_@/' --把每一行的之一个匹配的字符替换
# head -5 /etc/passwd |sed -e 's/:/@_@/g' --后面加一个g，代表全替换
# head -5 /etc/passwd |sed -e 's/:/&@_@&/g' --&符号代表前面匹配的字符串
# head -5 /etc/passwd |sed -e '2,4s/:/&@_@&/g' --指定替换2到4行
# head -5 /etc/passwd |sed -e '1,$s/:/&@_@&/g' --替换所有行，默认不加的话就是替换所有行
# head -5 /etc/passwd |sed -e '/^root/,/^adm/s/:/&@_@&/g' --使用正则表达式来表示替换的行范围
# head -5 /etc/passwd |sed -e '/^root/s/:/@_@/g;/^adm/s/:/@_@/g' --替换以root开头的行和替换以adm开头的行
# cat 123.txt
121212
# sed 's/1/3/2' 123.txt --把第2个1替换成3
123212
# head -5 /etc/passwd |sed 's/root/sed/1;s/root/sed/2' --这是把之一个和第三个root改成sed，注意后面是数字2不是3，因为之一个改过，再执行的话，原来的第三个变成第二个
比较awk
去掉之一行第六列的/root
# head -5 /etc/passwd |cat -n |sed '1s/\/root//'
# head -5 /etc/passwd |cat -n |awk -F: 'NR==1 {print $1":"$2":"$3":"$4":"$5"::"$7} NR!=1 {print $0}'
去掉之一行的4到7个字符
# head -5 /etc/passwd |sed '1s/t:x://'
# head -5 /etc/passwd |awk 'NR==1 {print substr($0,1,3)substr($0,8)} NR!=1 {print $0}'
# head -5 /etc/passwd |awk 'NR==1 {print substr($0,1,3)substr($0,8,length($0)-7)} NR!=1 {print $0}
# ls
anaconda-ks.cfg Documents file install.log.syslog Music Pictures Templates
Desktop Downloads install.log Mail nohup.out Public Videos
# ls > /tmp/filename
# sed 's/^/\/root\//' /tmp/filename
3.4 插入i(insert)和追加a(append)
# sed '/^root/i\the first line' file --在root开头行的上面插入一行
# sed '/^root/a\the first line' file --在root开头行的下面插入一行
# cat 1.txt
11111
22222
44444
55555
# sed -i '2a33333' 1.txt --在第2行后加上33333这一行(a代表append)
# cat 1.txt
11111
22222
33333
44444
55555
# sed -i '1i00000' 1.txt --在第1行插入00000这一行(i代表insert)
# cat 1.txt
00000
11111
22222
33333
44444
55555
# sed -i '/^4/accccc' 1.txt --把数字一样可以完全换成正则表达式（这里表示在4开头的行的后一行加上ccccc这一行
# cat 1.txt
00000
11111
22222
33333
44444
ccccc
55555
# sed -e '1i00000' -e '2a33333' 1.txt --2此插入数据，都是针对源文件来操作
3.5 修改之后保存
# sed -i '/^root/a\the first line' file --修改源文件的操作要谨慎
3.6 其他功能(了解)
3.6.1 从文件读入：r命令(read)
# cat file
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/***in/nologin
daemon:x:2:2:daemon:/***in:/***in/nologin
adm:x:3:4:adm:/var/adm:/***in/nologin
lp:x:4:7:lp:/var/spool/lpd:/***in/nologin
sync:x:5:0:sync:/***in:/bin/sync
shutdown:x:6:0:shutdown:/***in:/***in/shutdown
# cat test
DEVICE="eth1"
BOOTPROTO="dhcp"
NM_CONTROLLED="no"
ONBOOT="yes"
TYPE="Ethernet"
# sed '/shutdown/r test' file --从文件读入
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/***in/nologin
daemon:x:2:2:daemon:/***in:/***in/nologin
adm:x:3:4:adm:/var/adm:/***in/nologin
lp:x:4:7:lp:/var/spool/lpd:/***in/nologin
sync:x:5:0:sync:/***in:/bin/sync
shutdown:x:6:0:shutdown:/***in:/***in/shutdown
DEVICE="eth1"
BOOTPROTO="dhcp"
NM_CONTROLLED="no"
ONBOOT="yes"
TYPE="Ethernet"
3.6.2 写入文件：w命令(write)
# sed -n '/root/w test' file
# cat test
root:x:0:0:root:/root:/bin/bash
3.6.3 下一个：n命令(next)
n:以覆盖的方式读去下一行。
# sed '/root/{n;s/bin/BIN/g;}' file
root:x:0:0:root:/root:/bin/bash
BIN:x:1:1:BIN:/BIN:/***IN/nologin
daemon:x:2:2:daemon:/***in:/***in/nologin
adm:x:3:4:adm:/var/adm:/***in/nologin
lp:x:4:7:lp:/var/spool/lpd:/***in/nologin
sync:x:5:0:sync:/***in:/bin/sync
shutdown:x:6:0:shutdown:/***in:/***in/shutdown
# sed -n 'n;p' file
bin:x:1:1:bin:/bin:/***in/nologin
adm:x:3:4:adm:/var/adm:/***in/nologin
sync:x:5:0:sync:/***in:/bin/sync
3.6.4 退出：q命令(quit)
# sed '3q' file
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/***in/nologin
daemon:x:2:2:daemon:/***in:/***in/nologin
3.6.5 行号
# sed -n '/root/{!d;=}' file --等号打印行号
# sed -n '/root/{p;=}' file --等号打印行号
4.使用组或者域进行打印的定位
\(\)是将\( 和 \) 之间的字符串(这个字符串可以用正则表达式)定义为组，并且将匹配这个表达式的保存到一个区域（一个正则表达式最多可以保存9个），它们使用\1到\9来表示
或者使用扩展模式() 直接把括号内的字符串定义为组
例1:把hehe,haha.heihei变成haha,heihei.hehe
用cut和echo的
a1=`echo "hehe,haha.heihei" |cut -d"," -f1`
a2=`echo "hehe,haha.heihei" |cut -d"." -f1 |cut -d"," -f2`
a3=`echo "hehe,haha.heihei" |cut -d"." -f2`
echo "$a2,$a3.$a1"
用awk的
echo "hehe,haha.heihei" |awk -F[,.]* '{print $2","$3"."$1}'
echo "hehe,haha.heihei" |awk '{print substr($0,6,4)substr($0,5,1)substr($0,11)substr($0,10,1)substr($0,1,4)}'
用sed的
echo "hehe,haha.heihei" |sed 's/\(.*\),\(.*\)\.\(.*\)/\2,\3.\1/'
--这是老写法，所有的()都要加\转义符.
echo "hehe,haha.heihei" |sed -r 's/(.*),(.*)\.(.*)/\2,\3.\1/'
--扩展写法，要加-r参数,分隔符的.号还是要转义
echo "hehe,haha.heihei" |sed -r 's/(....)(.)(....)(.)(......)/\3\2\5\4\1/'
echo "hehe,haha.heihei" |sed -r 's/(....)(.)(....)(.)(.{6})/\3\2\5\4\1/'
--(.{6})这是表示6个点，也就是6个字符一个域
查找/etc/passwd文件里的第345个字符
cat /etc/passwd |awk '{printf ("%s",$0)}' |cut -c345
cat /etc/passwd |awk '{printf ("%s",$0)}' |awk '{print substr($0,345,1)}'
cat /etc/passwd |awk '{printf ("%s",$0)}' |sed -r 's/(.{344})(.)(.*)/\2\n/'
cat /etc/passwd |xargs |cut -c345 --但这种做法相对于printf来说，它会把每行的换行符也算一个字符
# cat /etc/passwd | xargs|tr -d " " | cut -c345
例2：打印出下面大小里的前两位（也就是82)
# ll shell05.txt
-rw-r--r-- 1 root root 8263 Jul 31 11:45 shell05.txt
# ll shell05.txt |cut -d" " -f5|cut -c1-2
82
# ll shell05.txt |awk '{print substr($5,1,2)}'
82
ll shell05.txt |awk '{print substr($0,index($0,"82"),2)}'
82
# ll shell05.txt |sed -r 's/(.......................)(..)(.*)/\2/'
82
二. expect脚本
1. expect简介
expect是一个用来处理交互的命令。借助Expect，我们可以将交互过程写在一个脚本上，使之自动化完成。
expect(自动应答) 基于TCL(Tool Command Language)语言演变而来
expect中最关键的三个命令是：
send：用于向进程发送字符串
expect：从进程接收字符串
spawn：启动新的进程（执行一条命令）
2. 安装expect
# yum install expect -y
# rpm -qi expect
Summary : A program-script interaction and testing utility
Description :
Expect is a tcl application for automating and testing
interactive applications such as telnet, ftp, passwd, fsck,
rlogin, tip, etc. Expect makes it easy for a script to
control another program and interact with it.
This package contains expect and some scripts that use it.
任何有交互性的操作，都可以用expect来做
3. expect使用详解
#!/bin/bash
expect <<EOF > /dev/null 2>&1
spawn passwd a --执行passwd a这个命令
expect "rd:" --当停在rd:结尾这个标识符时
send "456\r" --我就把456传给它
expect "rd:" --当再次停在rd:结尾这个标识符时
send "456\r" --我就再次把456传给它
expect eof --表示expect结束
EOF
# sh 1.expect
练习：下载192.168.199.10的ftp上的isolinux目录到/test/目录
#!/bin/bash
expect << EOF > /dev/null 2>&1
spawn lftp 192.168.199.10
expect ":~>"
send "mirror isolinux /test/"
expect ":/>"
send "quit\r"
expect eof
EOF
远程ssh
#!/bin/bash
sed -i '/^'$1'/d' /root/.ssh/known_hosts
expect << EOF > /dev/null 2>&1
spawn ssh $1
expect "no)?"
send "yes\r"
expect "password:"
send "123456\r"
expect "# "
send "touch /root/Desktop/123\n"
send "exit\n"
expect eof
EOF
--关于上面跳过yes的问题，可以加下面的参数来做
ssh 192.168.1.59 -o StrictHostKeyChecking=no
#!/usr/bin/expect
set host [lindex $argv 0]
set user [lindex $argv 1]
set passwd [lindex $argv 2]
spawn ssh -o StrictHostKeyChecking=no $user@$host
expect "password:"
send "$passwd\r"
expect "]" --如果用户有时是root，以]#为提示符，有时是普通用户，以]$为提示符，那么就直接expect "]"就可以了
send "touch /tmp/$user\n" --\n和\r都行，因为要测试不同的用户，所以要对用户都有写权限，这里就用/tmp目录来测试
send "exit\n"
expect eof --rhel6下测试的是一定要加这个
# sh 5.expect 192.168.1.59 root 123456 --这样执行是错误的。因为sh命令就是直接调用bash去解释，不管你脚本开头定义的#!/usr/bin/expect
# chmod 755 5.expect
# ./5.expect 192.168.1.59 root 123456 --正确执行
# expect 5.expect 192.168.1.59 root 123456 --或者直接指定由expect命令来执行
综合练习：
假设管理的机器有N台，密码也各不相同（没有ssh等效性)，现在需要在每个机器上都创建一个文件
# cat ip_user_passwd.txt --这个文件里包含你所有管理机器的IP，用户及其对应的密码
10.1.1.63 root oracle
10.1.1.77 root 1234
10.1.1.73 user1 123456
10.1.1.85 root 54321
......
# cat 6.expect
#!/bin/bash
cat ip_user_passwd.txt |while read ip user password
do
sed -i '/^'$ip'/d' /root/.ssh/known_hosts
expect <<EOF &> /dev/null
spawn ssh $ip -l $user
expect ")?"
send "yes\r"
expect "rd:"
send "$password\n"
expect "]#"
send "touch /tmp/123\n" --这里可以修改你每次要在这些机器上做的命令
send "exit\n"
expect eof
EOF
done
三. 脚本加密
1.gzexe --压缩工具
# gzexe 1.sh
# gzexe -d 1.sh
2.shc
官方下载地址：http://www.datsi.fi.upm.es/~frosal/sources/
wget http://www.datsi.fi.upm.es/~frosal/sources/shc-3.8.7.tgz
# tar xvf shc-3.8.7.tgz -C /usr/src/
# cd /usr/src/shc-3.8.7/
# make
# make install
# shc -f 1.sh --生成可执行文件1.sh.x和1.sh.x.c
# ./1.sh.x
经过测试，rhel6.x不能执行1.sh.x，可以更换其他平台测试。
3. gpg
采用密钥签名技术保护文件内容，只有经过认证的用户才能访问数据
加密
# gpg -c1.txt --输入密码后，会生成1.txt.gpg文件
解密
# gpg 1.txt.gpg --弹出对话框，输入密码后即可解密
4. base64
将ASCII字符转换成以64为基数的形式来用ASCII字符串描述二进制数据
编码为Base64格式
# base64 1.txt > 2.txt
解密Base64格式
# base64 -d 2.txt > 3.txt
