Shell sed 命令

发表于 2022-12-25 更新于 2023-01-15 分类于 Shell 阅读次数： Valine：

概述

sed是stream editor的简称，是一款功能强大的流式文本编辑器。由于sed是以行为单位进行编辑文件 , 因此也称为行编辑器。

sed由标准输入读取编辑文件，读入一行或指定行放到模式空间”pattern space”，然后将所有编辑指令逐一对模式空间的内容进行编辑，之后将结果输出到标准输出，同时清除模式空间。接下来再将下一行资料读入模式空间，如此重复之前的操作，直到最后一行，流编辑器停止。

默认情况下所有的输出行都被打印到屏幕上，源文件内容并没有改变，除非你使用重定向存储输出。

sed 可以配合正则表达式使用，对文件内容进行替换、删除、新增、选取特定行等功能，用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等，功能十分强大。

系统差异

linux 环境默认是 GNU sed, macOS 默认使用的 BSD sed。

macOS下sed总是会碰到一些奇怪的问题，或者查到命令执行无效，所以在macOS下最好安装gnu-sed，用gsed与linux下的sed是几乎一样的。

brew install gnu-sed

#然后设置到环境变量 .bash_profile 或 .zshrc 即可
PATH="/opt/homebrew/opt/gnu-sed/libexec/gnubin:$PATH"

语法

命令格式

sed [option] 'command' input_file

常用选项-option

-n 使用安静silent模式。在一般sed的用法中，所有来自stdin的内容一般都会被列出到屏幕上。但如果加上-n参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来
-e 直接在指令列模式上进行 sed 的动作编辑
-f 直接将 sed 的动作写在一个文件内，-f filename则可以执行filename内的sed命令
-r 让sed命令支持扩展的正则表达式(默认是基础正则表达式)
-i 直接修改读取的文件内容，而不是由屏幕输出

常用命令-command

a\：追加行，a\的后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选择的行的后面都加上字符串s
c\：替换行，c\后面跟上字符串s(多行字符串可以用\n分隔)，则会将当前选中的行替换成字符串s
i\：插入行，i\后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选中的行的前面都插入字符串s
d：删除行delete，该命令会将当前选中的行删除
p：打印print，该命令会打印当前选择的行到屏幕上
y：替换字符，通常y命令的用法是这样的：y/Source-chars/Dest-chars/，分割字符/可以用任意单字符代替，用Dest-chars中对应位置的字符替换掉Soutce-chars中对应位置的字符
s：替换字符串，通常s命令的用法是这样的：1,$s/Regexp/Replacement/Flags，分隔字符/可以用其他任意单字符代替，用Replacement替换掉匹配字符串

替换选项

\digit：Replacement中可含有后向引用中的\digit(digit是1至9)，引用前面定义的子表达
&：代表模版空间中的整个匹配部分
\L：将在其后的替换部分转换成小写字母，直到发现一个\U或\E，GNU扩展功能
\l：将下一个字符转换成小写字母，GNU扩展功能
\U：将在其后的替换部分转换成大写字母，直到发现一个\L或\E，GNU扩展功能
\u：将下一个字符转换成大写字母，GNU扩展功能
\E：停止由\L或\U指示开始的大小写转换，GNU扩展功能

标志选项

g：将用Replacement替换模版空间中所有匹配Regexp的部分，则不仅仅是第一个匹配部分
digit：只用Replacement替换模版空间中第digit(digit是1至9)个匹配Regexp的部分
p：若发生了替换操作，指示显示模版空间中新的数据
w file-name：若发生了替换操作，指示将模版空间中新的数据写入指定的文件file-name中
i：表示进行Regexp匹配时，是不区分大小写字母的

正则表达式

元字符	说明
`*`	将`*`前面的正则表达式匹配的结果重复任意次(含`0`次)。
`\+`	与星号(`*`)相同，只是至少重复`1`次，`GNU`的扩展功能。
`\?`	与星号(`*`)相同，只是最多重复`1`次，`GNU`的扩展功能。
`\{i\}`	与星号(`*`)相同，只是重复指定的`i`次。
`\{i,j\}`	与星号(`*`)相同，只是重复`i`至`j`次。
`\{i, \}`	与星号(`*`)相同，只是至少重复`i`次。
`$regexp$`	将`regexp`看作一个整体，用于后向引用，与`\digit`配合使用。
`.`	匹配任意单个字符。
`^`	匹配模版空间开始处的`NULL`字符串。
`$`	匹配的是模版空间结束处的`NULL`字符串。
`[list]`	匹配方括号中的字符列表中的任意一个。
`[^list]`	否定匹配方括号中的字符列表中的任意一个。
`regexp1\\\	regexp2`
`regexp1regexp2`	匹配`regexp1`和`regexp2`的连接结果。
`\digit`	匹配正则表达式前半部分定义的后向引用的第`digit`个子表达式。`digit`为`1`至`9`的数字, `1`为从左开始。
`\n`	匹配换行符。
`\meta`	将元字符`meta`转换成普通字符，以便匹配该字符本身，有`$`、 `*`、 `.`、 `[`、 `\` 和 `^`。

sed中使用正则表达式进行替换的时候，一定要注意，有些特殊字符在使用时要转义，目前发现的有：

用于分组的小括号：()，在使用时要用\进行转义，但是匹配字符串中真正的小括号时，无需转义；
表示前面的表达式出现次数的{}，也要转义；
表示前面的表达式出现1次或多次的+，也要转义，在使用时，要用+
表示前面的表达式至多出现1次?，也要转义，在使用时，要用?

不需要转义的特殊字符：

用于表示字符集的[]
表示前面的表达式出现0次或多次的*

有些特殊字符在sed的正则表达式中不能用，例如

要表示匹配- 一个数字不能用\d，而要用[0-9]
要表示匹配一个数字不能用\w，而要用[a-zA-Z]

示例

1、a\追加文本

gnu sed:

sed "$line a\\(多加一个\，防止后面的$value被转义)$value" $file

mac sed:

sed "$line a\ (注意此处有空格,要在下一行添加文本)
$value(如果想换行要把"写到下一行)
" $file

例如，在test.txt第二行插入xxx
gnu:

sed "2 a\\xxx" test.txt

mac:

sed "2 a\   
xxx
" test.txt

i\是在某一行之前插入，操作和a\一样。
mac:

sed '1i \ 
hello world
' test.txt

2、删除行

删除行需要使用命令 d：

$ sed '1d' test.txt            # 删除第一行
$ sed '$d' test.txt            # 删除最后一行
$ sed '1,2d' test.txt          # 删除第一行到第二行
$ sed '2,$d' test.txt          # 删除第二行到最后一行

3、查找替换

# 替换文件中的所有匹配项，.bak为可选，表示备份源文件为INPUTFILE.bak
sed -i.bak 's/SEARCH_REGEX/REPLACEMENT/g' INPUTFILE

# 分界符也可使用（|）或冒号（:）使用其他任意字符
sed -i 's|SEARCH_REGEX|REPLACEMENT|g' INPUTFILE

# 要使模式匹配不区分大小写同时使用g和I选项
sed -i 's/SEARCH_REGEX/REPLACEMENT/gI' INPUTFILE

# 同时执行两个替换规则
sed -i 's/SEARCH_REGEX/REPLACEMENT/g;s/SEARCH_REGEX/REPLACEMENT/g' INPUTFILE

# Long开头的行都会被替换成int
sed 's/^Long/int/g' test.txt

# 精确匹配，\b匹配单词边界，注意macos下sed无法使用\b规则，可以安装gnu-sed
sed 's/\<pattern\>/REPLACEMENT/g' INPUTFILE
sed 's/\bpattern\b/REPLACEMENT/g' INPUTFILE

包括某些字符匹配

-i-此选项告诉sed直接编辑文件，添加.bak作为备份文件名称，如果不需要备份文件，则使用-i “”
s-是替换命令，可能是sed中最常用的命令。
/-分隔符。它可以是任意字符，但通常使用斜杠（/）作为分隔符
SEARCH_REGEX -要搜索的普通字符串或正则表达式。
REPLACEMENT-使用此字符串进行替换。
g-全局替换标志。默认情况下，sed逐行读取文件，并且仅更改文件行中第一次出现的
INPUTFILE -要执行替换，删除，编辑等操作文件的名称。

sed表达式可以使用单引号来引用，但是如果表达式内部包含变量字符串，就需要使用双引号。