1、CentOS目錄 系統管理 網絡服務 應用部署內容提要掌握正則表達式的使用學會使用 sed 對文本文件進行行編輯學會使用 a wk 處理文本sed 簡介sed k 是一個流編輯器（stream editor）。sed 是一個非交互式的行編輯器，它在命令行中輸入編輯命令、指定被處理的輸入文件，然后在屏幕上查看輸出。輸入文件可以是指定的文件名，也可以來自一個管道的輸出。sed 不改變輸入文件的內容，且總是將處理結果輸出到標準輸出，可以使用輸出重定向將 sed 的輸出保存到文件中。與 vi 不同的是 sed 能夠過濾來自管道的輸入。在 sed 編輯器運行的時候不必人工，所以 sed 常常被稱作批編輯

2、器 。此特性允許在中使用編輯命令，極大的方便了重復性編輯任務。當對文件中大量的文本進行替換時， sed 將是一個有利的工具。sed 以按順序逐行的方式工作，過程為：從輸入一行數據存入臨時緩沖區，此緩沖區稱為模式空間（pattern space）按指定的 sed 編輯命令處理緩沖區中的內容把模式空間的內容送往屏幕并將這行內容從模式空間中刪除4.下面一行。重復上面的過程直到全部處理結束。sed 命令的格式sed 命令的格式如下：說明：格式1：執行命令行上的sed編輯命令。可以指定多個編輯命令，每個編輯命令前都要使用 -e 參數，sed 將對這些編輯命令依次進行處理。若只有一個編輯命令時，-e 可以

3、省略。格式2：執行常用參數：文件中的sed編輯命令。當編輯命令很多時，可將所有的編輯命令存成sed文件，然后在命令行上使用 -f 參數指定這個文件。-n : sed 在將下一行讀入pattern space之前，自動輸出pattern space中的內容。此選項可以關閉自動輸出，此時是否輸出由編輯命令控制。-r : 使用擴展正則表達式進行模式匹配。input-file：sed 編輯的文件列表，若省略，sed 將從標準輸入中輸入，也可以從輸入重定向或管道獲得輸入sed 的編輯命令包括地址和操作兩部分。地址用于指定sed要操作的行；操作指定要進行的處理。通常使用單引號將整個操作命令括起來若操作命令

4、中包含s變量替換，應該使引號將整個操作命令括起來地址的表示方法列表如下：另外，在地址部分還可以使用 ! 表示反向選擇，如 m ,n! 表示除了m 到n之外的所有行。sed 支持 25 個操作，下面列出常用的幾個，的操作的使用方法請參考 sed 手冊。第1頁 共7頁2008-10-1717:36分類表示法說明0省略地址部分，將對輸入的每一行進行操作1n表示第 n 行，特殊地： $ 表示最后一行1fs表示從 f 開始的，步長為 s 的所有行1/regexp/表示與正則表達式匹配的行2m,n表示從第 m 行到第 n 行， 特殊地： m,$ 表示從m行到最后一行2m,+n表示第 m 行以及其后的 n

5、行2/regexp1/,/regexp2/表示從匹配 regexp1 的行開始到匹配 regexp2 的行2/regexp/,n表示從匹配 regexp 的行開始到第 n 行2n,/regexp/表示從第n行開始到匹配 regexp 的行格式1： sed OPTION -ed1 -ed2 . -edn input-file.格式2： sed OPTION -f script-file input-file.sed 使用舉例1、以 p 操作說明地址的使用方法以上 sed 命令中p 操作的地址使用也適用于其他操作。2、替換命令使用舉例第2頁 共7頁2008-10-17 17:36# 在每個輸入行中

6、, 將第一個出現的 Windows 替換為 Linux$ sed s/Windows/Linux/ myfile# 在每個輸入行中, 將第一個出現的 Windows 替換為 Linux ，打印替換結果的行$ sed -n s/Windows/Linux/p myfile# 在每個輸入行中, 將出現的每個 Windows 替換為 Linux$ sed s/Windows/Linux/g myfile# 在每個輸入行中, 將出現的每個 Windows 替換為 Linux ，打印替換結果的行$ sed -n s/Windows/Linux/g myfile# 在每個輸入行中, 將出現的每個 Unix

7、 替換為 Unix/Linux（&表示匹配到的字符串）$ sed -e s/Unix/&/Linux/g myfile # 將所有連續出現的c都壓縮成單個的c$ sed s/cc*/c/g myfile # 刪除行首的一個空格$ sed s/ / myfile# 刪除每一行前導的連續“空白字符”（空格，制表符）$ sed s/ t*/ myfile# 刪除以句點結尾的行中末尾的句點$ sed s/.$/g myfile # 刪除每行的第一個字符$ sed s/./ myfile# 刪除每行結尾的所有空格$ sed s/ *$/ myfile# 在文件的每一行開始處兩個空格$ sed s/ /

8、myfile# 在每一行開頭加上一個尖括號和空格（信息）$ sed s/ / myfile# 將每一行開頭處的尖括號和空格刪除（解除）$ sed s/ / myfile # 刪除路徑前綴$ sed s/.*/ myfile# 顯示 myfile 文件的全部內容$ sed -n p myfile# 顯示 myfile 文件中第 5 行的內容$ sed -n 5p myfile# 顯示 myfile 文件中最后一行的內容$ sed -n $p myfile# 顯示 myfile 文件從第 3 行開始步長為5的行的內容$ sed -n 35p myfile$ sed -n 35= myfile# 顯

9、示 myfile 文件從第 3 行開始到第 10 行的內容$ sed -n 3,10p myfile# 顯示 myfile 文件第 10 行及其后的 10 行內容$ sed -n 3,+10p myfile# 顯示 myfile 文件從第 3 行開始到最后一行的內容$ sed -n 3,$p myfile# 顯示 myfile 文件中所有包含 LANG 的行$ sed -n /LANG/p myfile# 顯示 myfile 文件中所有不包含 LANG 的行$ sed -n /LANG/!p myfile# 顯示 myfile 文件從第 3 行開始到其后第一次出現 LANG 的行$ sed -

10、n 3,/LANG/p myfile# 顯示 myfile 文件從第一次出現 LANG 的行開始到最后一行的內容$ sed -n /LANG/,$p myfile# 顯示 myfile 文件從第一次出現以 case 開始的行到第一次出現以 esac 開始的行$ sed -n /case/,/esac/p myfile操作說明p打印l顯示所有字符，包括控制字符(非打印字符)d刪除=顯示匹配行的行號s/regexp/replacement/將指定行中第一個匹配 regexp 的內容替換為 replacements/regexp/replacement/g將指定行中所有匹配 regexp 的內容替換

11、為 replacement （g 表示全局）s/regexp/replacement/pp 打印修改后的行s/regexp/replacement/gpp 打印修改后的行 （g 表示全局）s/regexp/replacement/w fname將替換后的行內容寫到指定的文件 fname 中s/regexp/replacement/gw fname將替換后的行內容寫到指定的文件 fname 中 （g 表示全局）r fname將另外一個文件 fname 中的內容附加到指定行w fname將當前模式空間（pattern space）的內容寫入指定的文件 fnamen將指定行的下面一行讀入模式空間（p

12、attern space）q到指定行之后退出 seda在指定行后面追加文本（主要用于 sed）i在指定行前面追加文本（主要用于 sed）c用新文本替換指定的行（主要用于 sed）多個sed編輯命令是順序執行的，例如下面令首先將 Unix 替換為 UNIX，然后將 UNIX System 替換為 UNIX Operating System下面令將不會得到預想的結果因為Unix在緩沖區中已經被替換成了UNIX，所以再也找不到 Unix System 了。之所以沒有使用下面令而使用了兩個替換命令，是為了將 UNIX System 也替換為 UNIX Operating System 。在支持擴展正則

13、表達式的 sed 中也可以使用如下令替換的速度優化：可以考慮在替換命令（“s/”）前面加上地址表達式來提高速度。舉例來說：若只替換第一次匹配 foo 的行，可以使用 q 短路后續行的執行。舉例來說：3、其令使用舉例awk 簡介a wk 類似于 s9 nY Xdr 是一種用于處理文本的編程語言工具。它使用類似于C的語法，并在很多方面編程語言。a wk 名稱是由它三個最初設計者的姓氏的第一個字母而命名的：Alfred Aho、Peter Weinbe rge r 和 Brie rnigha n。ga wk 是GNU 版本 a wk ，ga wk 最初在1986年完成，之后不斷地被改進、更新。ga

14、wk 的當前版本是 3.1.5。ga wk 包含 a wk 的所有功能。Linux 下的 a wk 是ga wk 的符號。第3頁 共7頁2008-10-1717:36# 刪除所有空白行$ sed /$/d myfile$ sed /./!d myfile# 刪除文件頂部的所有空行$ sed /./,$!d myfile# 從輸入的開頭一直刪除到第1個空行(第一個空行也刪除掉)$ sed 1,/$/d myfile# 刪除所有偶數行，與 sed -n 12p myfile 等效$ sed n;d myfile# 刪除掉所有包含GUI的行$ sed /GUI/d myfile# 將所有GUI都刪除

15、掉, 并保持剩余部分的完整性$ sed s/GUI/g myfile # 在每一行后面增加一空行$ sed G myfile# 在匹配“regex”的行之后一空行$ sed /regex/G myfile# 將 myfile 中從case開始的行到esac結束的行寫到文件 case-block$ sed /case/,/esac/w case-block myfile # 在 myfile 末尾（$）追加新行# 反斜線 是必需的，它表示將一個回車符。在任何要輸入回車的地方您必須使用反斜線。$ sed $anewline1newline2newline3 myfile# 在匹配“regex”的行

16、之后追加新行$ sed /regex/anewline1newline2newline3 myfile# i 和 c 操作的格式與 上面的 a 操作的格式相同sed /foo/s/foo/bar/;q filenamesed s/foo/bar/g filename# 標準替換命令 sed /foo/ s/foo/bar/g filename # 速度更快sed /foo/ s/bar/g filename# 簡寫形式$ sed -r s/(Unix|UNIX) System/UNIX Operating System/g myfile$ sed -e s/Unix System/UNIX O

17、perating System/g myfile$ sed -e s/Unix/UNIX/g -e s/Unix System/UNIX Operating System/g myfile$ sed -e s/Unix/UNIX/g -e s/UNIX System/UNIX Operating System/g myfile$ ls -d /usr/share/man/man1 |sed s/.*/# 過濾掉所有標點符號（.、,、?、!）$ sed s/./g -e s/,/g -e s/?/g -e s/!/g myfile # 對于 GNU sed 可以使用如下的等效形式$ sed s/

18、./g ; s/,/g ; s/?/g ; s/!/g myfile # 不論什么字符，緊跟著s命令的都被認為是分隔符，# 所以，“#”在這里是分隔符，代替了默認的“/”分隔符。 # 尤其適用于替換文件路徑$ sed s#/some/path/old#/some/path/new#g myfile與sed和gre p很相似，a wk 是一種模式掃描和處理語言。但其功能卻大大強于sed和gre p。a wk 尤其適合處理結構化的文本，如純文本的表格等。a wk 提供了極 其強大的功能：它幾乎可以完成gre p和sed所能完成的全部工作。同時，a wk 還支持流程控制、數算、進程控制語句甚至于內置

19、的變量和函數。它具備了一個完整的語言所應具有的幾乎所有精美特性。與 sed 一樣，a wk 不會修改輸入文件的內容，可以使用輸出重定向將 a wk 的輸出保存到文件中。awk 命令的格式a wk 命令的格式如下：說明：格式1：執行命令行上的a wk 程序語句。若在一行寫多個a wk 程序語句時，各個語句使用分號（;）間隔。格式2：執行常用參數：文件中的a wk 程序語句。當a wk 程序語句很多時，可將所有的a wk 程序語句存成文件，然后在命令行上使用 -f 參數指定這個文件。-F fs : 在a wk 中，缺省的字段分隔符一般是空格符或TAB。在- F后面跟著你想用的分隔符即可改變字符分隔

20、符。-v var=val : 對變量 var 賦初值為 val，變量既可以是 a wk 的內置變量也可以是自定義變量。input-file：a wk 處理的文件列表，若省略，a wk 將從標準輸入中輸入，也可以從輸入重定向或管道獲得輸入。a wk 中每一個語句（sem ents）都由兩部分組成：模式（pattern）和相應的動作（a ctio ns）。只要模式匹配，a wk 就會執行相應的動作。動作部分由一個或多個命令、函數、表達式組成，之間由換行符或分號隔開，并位于大括號內。pattern 和 actions 可以省略，但不能同時省略；pattern 省略時表示對所有的輸入行執行指定的 a

21、ctions；a ctions 省略時表示打印匹配行，即 pr模式（pattern）部分可以是： 。/regular expres relational expres/ : 使用擴展的正則表達式。: 使用關系表達式，可以使用與 C 語言類似的關系運算符。pattern1, pattern2 : 范圍模式，匹配行的范圍。表示從匹配pattern1的行到匹配pattern2的行。BEGIN : 指定在第一條輸入END : 指定在最后一條輸入動作（a ctio ns）部分可以是：變量或數組賦值輸入/輸出語句內置函數和自定義函數流程控制語句被處理之前要執行的動作，通常可在此設置全局變量。被之后要執行的

22、動作，通常可在此輸出統計數據。a wk 命令的一般形式為：其中 BEGIN a ctions 和 END actions 是可選的。a wk 的執行過程如下：1. 如果存在 BEGIN ，a wk 首先執行它指定的 a ctio ns。a wk 從輸入中a wk 將讀入的一行，稱為一條輸入。分割成數個字段，并將第一個字段放入變量 $1 中，第二個放入變量 $2 中，以此類推；$0 表示整條；字段分隔符可以通過選項 -F指定，否則使用缺省的分隔符。把當前輸入當一條輸入依次與每一個語句中 pattern 比較：如果相匹配，就執行對應的 a ctio ns；如果不匹配，就跳過對應的 a ctio n

23、s，直到完成所有的語句。處理完畢后，a wk輸入的下一行，重復上面的處理過程，直到所有輸入全部處理完畢。如果輸入是文件列表，a wk 將按順序處理列表中的每個文件。a wk 處理完所有的輸入后，若存在 END，執行相應的 a ctio ns。awk 常用的內置變量第4頁 共7頁2008-10-1717:36變量說明NF當前中的字段數。NR當前數。FS字段分隔符(默認是任何空格)。RS分隔符(默認是一個換行符)。OFS輸出字段分隔符(默認值是一個空格)。ORS輸出分隔符(默認值是一個換行符)。IGNORECASE如果為真，則進行忽略大小寫的匹配。awk BEGIN actions pattern

24、1 actions.patternN actionsEND actions input-file格式1： awk OPTION program-s ements input-file.格式2： awk OPTION -f program-file input-file.awk 使用舉例有關 a wk 編程的詳細內容參見 Gawk: Effective AWK Program m ing ? q=aH R0 c DovL 3d3dy5nbnU ub3JnL 3NvZnR3Y XJlL 2dhd2s vbWFudWFs Lw% 3D% 3D 。下面給出一些使用 a wk 的簡單例子。/index.

25、第5頁 共7頁2008-10-17 17:36# 使用awk打印字符串$ awk BEGIN pro o# 使用awk進行浮點運算$ awk BEGIN pr1.05e+2/10.5+2.0*3-3.14 14.86# 顯示要處理的輸入文件$ cat test.txtF115!16201!1174113017250745 1 200703180718F125!16202!1174113327151715 2 200703180728F235!16203!1174113737250745 3 200703180738F245!16204!1174113847250745 4 2007031807

26、48F355!16205!1174115827252725 5 200703180758# 顯示輸入文件的內容$ awk pr test.txtF115!16201!1174113017250745 1 200703180718F125!16202!1174113327151715 2 200703180728F235!16203!1174113737250745 3 200703180738F245!16204!1174113847250745 4 200703180748F355!16205!1174115827252725 5 200703180758# 使用正則表達式匹配行，actio

27、ns 省略時表示 pr$ awk /F12.*/ test.txtF115!16201!1174113017250745 1 200703180718F125!16202!1174113327151715 2 200703180728F235!16203!1174113737250745 3 200703180738F245!16204!1174113847250745 4 200703180748# 使用正則表達式匹配行，并打印匹配的第1和第3列（域、字段）$ awk /F12.*/ pr$1,$3 test.txt F115!16201!1174113017250745 F125!1620

28、2!1174113327151715 F235!16203!1174113737250745 F245!16204!1174113847250745 # 更改字段分隔符為! ，執行上面的操作$ awk -F! /F12.*/ pr$1,$3 test.txtF115 1174113017250745 1 200703180718F125 1174113327151715 2 200703180728F235 1174113737250745 3 200703180738F245 1174113847250745 4 200703180748# 使用空格或!做為字段分隔符（正則表達式 !）$ a

29、wk -F ! pr$1,$2,$3,$4,$5,$6 test.txtF115 16201 1174113017250745 1 200703180718F125 16202 1174113327151715 2 200703180728F235 16203 1174113737250745 3 200703180738F245 16204 1174113847250745 4 200703180748F355 16205 1174115827252725 5 200703180758# 使用 awk 內置的取子串函數提取輸入文件中機號$ awk -F ! prsubstr($3,6) te

30、st.txt# 使用關系表達式書寫模式，打印所有奇數行$ awk NR % 2 = 1 test.txtF115!16201!1174113017250745 1 200703180718F235!16203!1174113737250745 3 200703180738F355!16205!1174115827252725 5 200703180758# 使用關系表達式書寫模式，打印所有奇數行的第1和第3列（域、字段）$ awk NR % 2 = 1 pr$1,$3 test.txt F115!16201!1174113017250745 F235!16203!117411373725074

31、5 F355!16205!1174115827252725 # 打印輸入文件的行數，類似于 wc -l test.txt$ awk END prNR test.txt 5# 為每一筆前添加行號，類似于 cat -n test.txt$ awk prNR,$0 test.txt1 F115!16201!1174113017250745 1 2007031807182 F125!16202!1174113327151715 2 2007031807283 F235!16203!1174113737250745 3 2007031807384 F245!16204!1174113847250745

32、4 2007031807485 F355!16205!1174115827252725 5 200703180758# 為每一筆前添加行號，使用制表符作為行號和的間隔符$ awk prNR t $0 test.txt1F115!16201!1174113017250745 1 2007031807182F125!16202!1174113327151715 2 2007031807283F235!16203!1174113737250745 3 200703180738下面再給出一些 a wk 和其令結合使用的例子：# 提取文件 test.txt 中機號$ cat test.txt | awk

33、 -F! pr$3 | awk pr$1|cut -c6-16# 以文件修改順序生成當前目錄下帶有時間的文件名$ ls -alt * -time-style=+%F_%H:%M| awk pr $7-$6 file5-2007-12-27_12:00file4-2007-12-26_12:00 file3-2007-12-25_12:00 file2-2007-12-24_12:00 file1-2007-12-23_12:00# 計算當前目錄中所有12月份創建的文件的字節數$ ls -l | awk $6 = Dec sum += $5 ; END prsum 79878$ whoroott

34、ty1osmond pts/02007-12-14 20:332007-12-14 16:26 (7)# 顯示當前所有的登錄用戶和其使用的終端$ who | awk pr$1t$2 roottty1osmond pts/0$ df -hPT -x tmpfsFilesystemTypeSize Used Avail Use% Mounted on/dev/mapper/VolGroup00-LogVolRoot ext3/dev/mapper/VolGroup00-LogVolHome ext33.9G 1.1G 2.7G 28% /2.9G 106M 2.6G 4% /home13% /bo

35、ot/dev/sda1ext399M 12M 83M# 使用 awk 篩選字段并格式化輸出$ df -hPT -x tmpfs| awk pr| $1 | $2 | $3 | $7 | Filesystem | Type | Size | Mounted | /dev/mapper/VolGroup00-LogVolRoot | ext3 | 3.9G | / | /dev/mapper/VolGroup00-LogVolHome | ext3 | 2.9G | /home | /dev/sda1 | ext3 | 99M | /boot |$ cat /proc/meminfo | grep

36、 MemTotalMemTotal:515476 kB$ cat /proc/meminfo | grep MemTotal | awk -F: pr$2 515476 kB$ cat /proc/meminfo | grep MemTotal | awk -F: pr$2 | awk pr$1 $2 515476 kB$ cat /prouinfo | grep mnamem mname name:el(R) Core(TM)2 Quad CPUQ6600 2.40GHz:el(R) Core(TM)2 Quad CPUQ6600 2.40GHz$ cat /prouinfo | grep

37、mname | awk -F: pr$2 Q6600 2.40GHzQ6600 2.40GHzel(R) Core(TM)2 Quad CPU el(R) Core(TM)2 Quad CPU$ cat /prouinfo | grep m el(R) Core(TM)2 Quad CPUname | awk -F: pr$2|uniq|sed -e s/ / Q6600 2.40GHz# 顯示 ifconfig -a 的輸出中以單詞開頭的行 # ifconfig -a |grep weth0 lo sit0Link encthernet HWaddr 00:0C:29:B3:75:80 Li

38、nk encap:Local Lo ackLink encap:IPv6-in-IPv4# 顯示除了 lo 之外的所有網絡接口# ifconfig -a |grep w|awk !/lo/pr$1 eth0sit0# ifconfig eth0eth0Link encthernet HWaddr 00:0C:29:B3:75:80inet addr:01 Bcast:55 Mask:inet6 addr: fe80:20c:29eb3:7580/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:44

39、783 errors:0 dropped:0 overruns:0 frame:0 TX packets:53687 errors:0 dropped:0 overruns:0 carrier:0 collis:0 txqueuelen:1000RX bytes:3876638 (3.6 MiB) TX bytes:16922382 (16.1 MiB)errupt:169 Base address:0 x2000# 匹配 inet 的行，以分號為字段間隔符打印第2個字段# ifconfig eth0 |awk -F: /inet / pr 01 Bcast$2# ifconfig eth0

40、|awk -F: /inet / pr 01$2|awk pr$1第6頁 共7頁2008-10-17 17:364F245!16204!1174113847250745 4 2007031807485F355!16205!1174115827252725 5 200703180758參考/index.? q=aH R0 c DovL 3d3dy5zdH V kZW50Lm5vc nRoc GFyay5lZH U vc GV tZW50ZS 9 zZWQ vaW5kZXguaH RtUSEFUL ONE-LINE SCRIPTS FOR SED (Unix stream editor) ? q=

41、aH R0 c DovL 3d3dy5 wZ W1lbnQ ub3JnL 3 N lZC 9zZWQ xbGluZS 50eH Q % 3D 中譯本/index.http/index.http/index. HYPERLINK http:/w/ http:/w/index. HYPERLINK http:/w/ http:/w/index./note/opensoured.htm ? q=aH R0 c DovL 3d3dy5yaW5na2V lLmNvbS 9ub3RlL 29 wZ W5zb3V yY 2U vc 2V kLmh0bQ % 3D% 3D /note/opensource/awk.htm ? q=aH R0 c DovL 3d3dy5yaW5na2V lLmNvbS 9