中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

AIX操作系統(tǒng)工作手冊(cè)

文件編號(hào)

版本0.1

作成日2013年10月24日

修訂日

發(fā)布日

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

修改履歷

序號(hào)版本修改日期章節(jié)號(hào)修改記錄修改人批準(zhǔn)人

10.12013/10/23創(chuàng)建修游

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

目錄

1引言5

1.1編寫(xiě)目的5

1.2適用范圍5

1.3預(yù)期讀者5

1.4文檔說(shuō)明5

2操作系統(tǒng)健康性檢查5

2.1系統(tǒng)日志6

2.1.1系統(tǒng)硬件錯(cuò)誤日志檢查6

2.1.2系統(tǒng)所有錯(cuò)誤日志檢查7

2.1.3系統(tǒng)錯(cuò)誤日志Core_dump檢查8

2.1.4系統(tǒng)錯(cuò)誤日志DELAYED」NT檢查9

2.1.5系統(tǒng)郵件日志內(nèi)容檢查9

2.1.6系統(tǒng)郵件日志大小檢查11

2.1.7登錄失敗日志文件大小檢查11

2.1.8登錄日志文件人小檢查12

2.1.9su日志文件大小檢查12

2.1.10異常終止的vi日志文件大小檢查13

2.2系統(tǒng)性能14

2.2.1系統(tǒng)CPU使用率檢查14

2.2.2查看占用CPU資源最多的進(jìn)程17

2.2.3系統(tǒng)內(nèi)存使用率檢查18

2.2.4系統(tǒng)占用內(nèi)存資源最多的進(jìn)程20

2.2.5系統(tǒng)磁盤(pán)繁忙程度檢查22

2.3交換空間23

2.3.1交換空訶使用率檢查23

2.4進(jìn)程狀態(tài)24

2.4.1僵尸進(jìn)程檢查24

2.5網(wǎng)絡(luò)狀態(tài)24

2.5.1網(wǎng)卡狀態(tài)檢查24

2.5.2路由狀態(tài)檢查25

2.5.3網(wǎng)絡(luò)傳輸檢查26

2.5.4網(wǎng)絡(luò)連接數(shù)量及狀態(tài)檢查29

2.5.5主機(jī)解析檢查31

2.6存儲(chǔ)狀態(tài)32

2.6.1HBA卡狀態(tài)檢查32

2.7文件系統(tǒng)狀態(tài)33

2.7.1文件系統(tǒng)使用率檢查33

2.7.2文件系統(tǒng)掛載檢查33

2.7.3NFS文件系統(tǒng)掛載檢查34

2.7.4dump設(shè)備空間檢查35

2.8邏輯卷狀態(tài)35

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

2.8.1Rootvg的剩余空間檢查35

2.8.2PV狀態(tài)檢查36

2.8.3是否存在stale的pp檢查37

2.9系統(tǒng)安全38

2.9.1系統(tǒng)登錄情況檢查38

2.9.2特權(quán)用戶檢查39

2.9.3Su操作次數(shù)檢查39

2.9.4失敗登錄記錄檢查40

2.10雙機(jī)狀態(tài)41

2.10.1雙機(jī)心跳狀態(tài)檢查41

2.10.2Hacmp.out日志檢查42

2.10.3Cluster.log日志檢查42

2.10.4雙機(jī)節(jié)點(diǎn)狀態(tài)檢查43

2.11其它43

2.11.1操作系統(tǒng)時(shí)間檢查43

3操作系統(tǒng)異常快速排查規(guī)范44

3.1系統(tǒng)日志檢查44

3.2CPU使用率檢查45

3.3內(nèi)存使用率檢查45

3.4I/O使用率檢查46

3.5網(wǎng)絡(luò)檢查46

3.6交換區(qū)檢查47

3.7文件系統(tǒng)檢查47

3.8雙機(jī)檢查48

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

1引言

1.1編寫(xiě)目的

為了保證項(xiàng)目組所運(yùn)維系統(tǒng)的持續(xù)健康運(yùn)行，降低操作系統(tǒng)的出錯(cuò)幾率，并

在出現(xiàn)問(wèn)題時(shí)及時(shí)且有效的進(jìn)行排查、處理，故編寫(xiě)本手冊(cè)。

本手冊(cè)是以AIX操作系統(tǒng)管理員的技術(shù)為基礎(chǔ)，并結(jié)合四年項(xiàng)目運(yùn)營(yíng)的實(shí)際

經(jīng)驗(yàn)進(jìn)行編寫(xiě)。有關(guān)AIX操作系統(tǒng)的主要工作包括：操作系統(tǒng)健康性檢查、操作

系統(tǒng)異常快速排查。

本運(yùn)維手冊(cè)按照以上兩個(gè)方面的內(nèi)容進(jìn)行編寫(xiě)。

1.2適用范圍

IBMAIX5/6操作系統(tǒng)日常運(yùn)維

1.3預(yù)期讀者

國(guó)家外匯管理局項(xiàng)目組運(yùn)維工程師。

1.4文檔說(shuō)明

1、粗體表示注意事項(xiàng)、操作命令；

2、所有命名規(guī)范中所用字母，未特殊標(biāo)注的，均使用小寫(xiě);

3、本文所有截圖是為了配合文字說(shuō)明，圖片內(nèi)容僅供參考。

2操作系統(tǒng)健康性檢查

對(duì)于IBMATX操作系統(tǒng)的健康性，主要從以下幾個(gè)方面進(jìn)行檢查:

?系統(tǒng)日志

?系統(tǒng)性能

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

?交換空間

?進(jìn)程狀態(tài)

?網(wǎng)絡(luò)狀態(tài)

?存儲(chǔ)狀態(tài)

?邏輯卷狀態(tài)

?文件系統(tǒng)狀態(tài)

?系統(tǒng)安全

?雙機(jī)狀態(tài)

?其它

2.1系統(tǒng)日志

2.1.1系統(tǒng)硬件錯(cuò)誤日志檢查

＞檢查點(diǎn)：

操作系統(tǒng)錯(cuò)誤日志是否含有硬件錯(cuò)誤

＞檢查方法：

#errpt-dH

＞標(biāo)準(zhǔn)：

檢查結(jié)果如存在硬件錯(cuò)誤則為系統(tǒng)不健康

檢查結(jié)果如不存在硬件錯(cuò)誤則為系統(tǒng)健康

重點(diǎn)關(guān)注輸出信息第三列為P的錯(cuò)誤日志

＞示例：

errpt-dH

IDENTIFIERTIMESTAMPTCRESOURCE_NAMEDESCRIPTION

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413'1HsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115313THsysplanarOEEHtemporaryerrorforadapter

E142C6D408021153133HsysplanarOEEHtemporaryerrorforadapter

49A832160802115313THhdiskODISKOPERATIONERROR

F39312840802115313IHeiiLOETHERNETNETWORKRECOVERYMODE

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

＞輸出信息說(shuō)明:

第三列：類(lèi)型TYPE錯(cuò)誤的類(lèi)型或者說(shuō)嚴(yán)重的程度

類(lèi)型說(shuō)明簡(jiǎn)寫(xiě)

PEND設(shè)備或功能組件可能丟失P

PERF性能?chē)?yán)重下降P

PERM硬件設(shè)備或軟件模塊損壞P

TEMP臨時(shí)性錯(cuò)誤，經(jīng)過(guò)重試后已經(jīng)恢復(fù)正T

常

INFO一般消息，不是錯(cuò)誤I

l\K\不能確定錯(cuò)誤的嚴(yán)重性U

2.1.2系統(tǒng)所有錯(cuò)誤日志檢查

＞檢查點(diǎn)：

操作系統(tǒng)錯(cuò)誤日志是否含有錯(cuò)誤

＞檢查方法：

#errpt

＞標(biāo)準(zhǔn)：

檢查結(jié)果如存在錯(cuò)誤則為系統(tǒng)不健康

檢查結(jié)果如不存在錯(cuò)誤則為系統(tǒng)健康

重點(diǎn)關(guān)注輸出信息第三列為P第四列為H、S的錯(cuò)誤日志

＞示例：

#orrpt

IDENTIFIERTIMESTAMPTCRESOURCE_NAMEDESCRIPTION

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115313THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115313THsysplanarOEEHtemporaryerrorforadapter

49A832160802115313THhdiskODISKOPERATIONERROR

F39312840802115313IHentOETHERNETNETWORKRECOVERYMODE

E142CGD40802115313TElsysplanarOEEI1temporaryerrorforadapter

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

49A832160802115313THhdiskODISKOPERATIONERROR

E142C6D40802115213THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115213THsysplanarOEEHtemporaryerrorforadapter

L142C6D4

0802115213THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115213THsysplanarOEEHtemporaryerrorforadapter

49A832160802115213THhdiskODISKOPERATIONERROR

E142C6D40802115113THsysplanarOEEHtemporaryerrorforadapter

,6DF45AA0802115113I0RMCdaemonThedaemonicotarted.

E142C6D40802115113THsysplanarOEEHtemporaryerrorforadapter

＞輸出信息說(shuō)明:

第四列：種類(lèi)CLASS指錯(cuò)誤源

類(lèi)型說(shuō)明簡(jiǎn)寫(xiě)

HardWarc硬件錯(cuò)誤H

Software軟件錯(cuò)誤S

Operation用戶操作錯(cuò)誤0

UnKnown不能確定的錯(cuò)誤U

2.1.3系統(tǒng)錯(cuò)誤日志Coredump檢查

＞檢查點(diǎn)：

操作系統(tǒng)錯(cuò)誤日志是否含有應(yīng)用程序Core_dump錯(cuò)誤

＞檢查方法：

#errpt-a|grepCORE_DUMP

A標(biāo)準(zhǔn)：

檢查結(jié)果如存在Coie_duinp錯(cuò)誤則為系統(tǒng)不健康

檢查結(jié)果如不存在Coredump錯(cuò)誤則為系統(tǒng)健康

＞示例：

set-ovi

errpt-aIgrepCORE_DUMP

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

＞輸出信息說(shuō)明：

無(wú)

2.1.4系統(tǒng)錯(cuò)誤日志DELAYEDJNT檢查

＞檢查點(diǎn)：

操作系統(tǒng)錯(cuò)誤日志是否含有應(yīng)用程序DELAYEDJNT錯(cuò)誤

＞檢查方法：

#errpt-a|grepDELAYED_INT

＞標(biāo)準(zhǔn)：

檢查結(jié)果如存在DELAYED」NT錯(cuò)誤則為系統(tǒng)不健康

檢查結(jié)果如不存在DELAYED/NT錯(cuò)誤則為系統(tǒng)健康

＞示例：

errpt-a|grepDELAYED_INT

＞輸出信息說(shuō)明：

1.DELAYED」NT錯(cuò)誤是版本BUG,出現(xiàn)該錯(cuò)誤需要進(jìn)行版本補(bǔ)

丁升級(jí)

2.1.5系統(tǒng)郵件日志內(nèi)容檢查

＞檢查點(diǎn)：

操作系統(tǒng)郵件日志是否含有異常錯(cuò)誤信息

＞檢查方法：

#mail

＞標(biāo)準(zhǔn)：

檢查結(jié)果如存在異常錯(cuò)誤信息則為系統(tǒng)不健康

檢查結(jié)果如不存在異常錯(cuò)誤信息則為系統(tǒng)健康

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

＞示例:

#mail

Mail[5.2UCB]|AIX5.X]Type?forhelp.

M/var/spool/mail/root":1message1new

>N1rootThuJul2519:2128/1144Hdiagelamessagefromaixl"

?

Message1:

FromrootThuJul2519:21:482013

Date:Thu,25Jul201319:21:47-0500

From:root

To:esaadmin,pconsole,root

Subject:diagelamessagefromaixl

APROBLEMWASDETECTEDONThuJul2519:20:38CDT2013801014

TheServiceRequestNumber(s)/ProbableCause(s)

(causesarelistedindescendingorderofprobability):

B17CE433:SurveillanceErrorPredictiveError,general.Refertothesystem

servicedocumentationformoreinformation.

AdditionalWords:2-030000FO3-8330L5104-C13920FF5-40000000

6-000000007-000017F98-000018589-00000000

Errorloginformation:

Date:ThuJul2519:19:03CDT2013

Sequencenumber:132

Label:SCAN_ERROR_CHRP

Priority:HMaintainenceProcedure:FSPSP33

Priority:MMaintainenceProcedure:FSPSP04

Priority:LFRU:80P6787S/N:YL1226O39202CCIN:293ALocation:

U787F.001.DPM0BYH-P1-C7

mail

iomailforroot

A輸出信息說(shuō)明：

1.關(guān)鍵的錯(cuò)誤信息會(huì)以mail形式發(fā)送給用戶

2.特別關(guān)注crontab定時(shí)執(zhí)行任務(wù)異常時(shí)會(huì)有mail產(chǎn)生

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

2.1.6系統(tǒng)郵件日志大小檢查

＞檢查點(diǎn)：

操作系統(tǒng)郵件日志大小是否超過(guò)閥值

＞檢查方法：

#ls-1/var/spool/mail

＞標(biāo)準(zhǔn)：

檢查結(jié)果如目錄下存在文件大小超過(guò)基線閥值則為系統(tǒng)不健康

檢查結(jié)果如目錄下不存在文件大小超過(guò)基線閥值則為系統(tǒng)健康

1.crontab中的定時(shí)任務(wù)腳本輸出沒(méi)有重定向，系統(tǒng)會(huì)將這些

輸出信息以mail形式發(fā)給這個(gè)用戶，時(shí)間長(zhǎng)了mail會(huì)越來(lái)

越大

2.1.7登錄失敗日志文件大小檢查

＞檢查點(diǎn):

檢查登錄失敗日志文件大小是否超過(guò)閥值

＞檢查方法:

#Is-1/etc/security/failedlogin

＞標(biāo)準(zhǔn):

登錄失敗日志大小超過(guò)基線閥值則為系統(tǒng)不健康

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

登錄失敗日志大小未超過(guò)基線閥值則為系統(tǒng)健康

＞示例：

Is-1/etc/security/failedlogin

rw-r1rootsystem648Jul1513:09/etc/security/failedlogir

＞輸出信息說(shuō)明：

1.日志大小建議不超過(guò)64M（默認(rèn)PP大小）

2.L8登錄日志文件大小檢查

＞檢查點(diǎn)：

檢查登錄日志文件大小是否超過(guò)閥值

＞檢查方法：

#Is-1/var/adm/wtmp

＞標(biāo)準(zhǔn)：

登錄日志大小超過(guò)基線閥值則為系統(tǒng)不健康

登錄日志大小未超過(guò)基線閥值則為系統(tǒng)健康

＞示例：

#Is-1/var/adm/wtmp

-rw-rw-r--1admadm935064Auc0212:28/var/adm/wtmp

#du-m/var/adm/wtmp

0.90/var/adm/wtmp

＞輸出信息說(shuō)明：

1.日志大小建議不超過(guò)64M（默認(rèn)PP大小）

2.1.9su日志文件大小檢查

＞檢查點(diǎn)：

檢查SU日志文件大小是否超過(guò)閥值

＞檢查方法:

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

#Is-1/var/adm/sulog

＞標(biāo)準(zhǔn)：

SU日志大小超過(guò)基線閥值則為系統(tǒng)不健康

SU日志大小未超過(guò)基線閥值則為系統(tǒng)健康

＞示例：

Is-1/var/adm/sulog

rw1rootsystem1291Aug0212:52/var/adm/sulog

＞輸出信息說(shuō)明：

1.su日志大小建議不超過(guò)64M（默認(rèn)PP大小）

2.L10異常終止的vi日志文件大小檢查

＞檢查點(diǎn)：

檢查異常終止的vi日志文件大小是否超過(guò)閥值

＞檢查方法：

#du-sm/var/preserve

＞標(biāo)準(zhǔn)：

異常終止的vi日志大小超過(guò)基線閥值則為系統(tǒng)不健康

異常終止的vi日志大小未超過(guò)基線閥值則為系統(tǒng)健康

＞示例：

0.16/var/preserve

#Is-1/var/preserve

total0

-rw1rootsystem163840Aug0213:06Exaaa49168

ivi-r

OnFriAug02at13:06saved525linesoffile/tmp/smit.log

#vi-r/tmp/smit.log

*xs./var/preseiue

total0

＞輸出信息說(shuō)明:

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

1.異常終止的vi日志大小建議不超過(guò)64M（默認(rèn)PP大小）

2.異常終止的vi操作可通過(guò)vi-r顯示查看，同樣通過(guò)#vi

-r{filepath/filename）繼續(xù)上次終止的操作

3.執(zhí)行#vi-r{filepath/filename}JB,/var/preserve文件

夾下的文件自動(dòng)清除

2.2系統(tǒng)性能

2.2.1系統(tǒng)CPU使用率檢查

＞檢查點(diǎn)：

操作系統(tǒng)CPU使用率是否存在高于正常基線的情況

＞檢查方法：

#vmstat230

#sar230

#mpstat230

#topas

＞標(biāo)準(zhǔn)：

檢查結(jié)果如存在CPU空閑率小于30%則為系統(tǒng)不健康

檢查結(jié)果如不存在CPU空閑率小于30%則為系統(tǒng)健康

＞示例：

vmstat230

ystemconfiguration:lcpu=2mem=1536MB

kthrmemorypagefaults

rbavmfrerePipofrsrcyinsycsusdwd

2016305018424800000099122000991

2016305018424800000004420100990

20163049184249000000016320300990

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

2016304918424900000004421800990

2016304918424900000002821200990

20163053184245000000297222800990

2016305318424500000002821500990

3016305318424500000002321500990

2016305218424600000002421700990

2016305218424600000088422900990

2016305218424600000002521600990

2016305218424600000003522000990

2016305218424600000003122600990

2016305218424600000002821800990

2016305218424600000002821500990

2016305218424600000002421800990

2016305218424600000002822400990

2016305218424600000002422100990

2016305218424600000002421600990

2016305218424600000002721100990

kthrmemorypagefaultscpu

￥sar230

AIXaixl160000682ED70008/02/13

Systemconfiguration:lcpu=2mode=Capped

15:47:46%usr%sys%wio%idlephysc

15:47:480001001.00

15:47:50000991.00

15:47:520001001.00

15:47:54000991.00

15:47:560001001.00

15:47:580001001.00

15:48:000001001.00

15:48:020001001.00

15:48:040001001.00

15:48:060001001.00

15:48:08000991.00

15:48:100001001.00

15:48:120001001.00

15:48:140001001.00

15:48:160001001.00

15:48:180001001.00

15:48:200001001.00

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

15:48:220001001.00

#mpstat230

Systemconfiguration:lcpu=2mode=Capped

cpuminmajmpcintcsicsrqmigIpasyscussywaidpc

00001781627600100690001000.53

100018101000-00001000.47

ALL0001961728600100690001001.00

02001821637700100320001000.53

100018101000-00001000.47

ALL2002001738700100320001001.00

00001821627701100260001000.53

10001811110110000001000.47

ALL0002001738802100260001001.00

00001801617600100270001000.53

100018101000-00001000.47

ALL0001981718600100270001001.00

00001801627600100320001000.53

100018101000-00001000.47

ALL0001981728600100320001001.00

TopasMonitorforhost:aixlEVENTS/QUEUESFILE/TTY

FriAug215:51:252013Interval:2Cswitch191Readch0

Syscall56Writech67

CPUUser%Kern%Wait%Idle%Reads0Rawin0

ALL0.00.20.099.8Writes1Ttyout67

Forks0Igets0

NetworkKBPS二-PackO-PackKB-InKB-OutExecs0Namei1

Total0.21.51.00.10.1Runqueue0.0Dirblk0

Waitqueue0.0

DiskBusy%KBPSTPSKB-ReadKB-WritMEMORY

Total0.00.00.00.00.0PAGINGReal,MB1536

Faults0%Comp42

FileSystemKBPSTPSKB-ReadKB-WritSteals0%Noncomp10

Total0.00.00.00.0Pgspln0%Client10

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

PgspOut0

NamePIDCPU%PgSpOwnerPagein0PAGINGSPACE

topas48497620.01.4rootPageOut0Size,MB512

java58327080.037.1pconsoleSios0%Used1

getty41944620.00.6root%Free99

gil9175320.00.1rootNFS(calls/sec)

xmge7209180.00.1rootSerV20WPARActiv0

clcomd24249420.01.7rootCliV20WPARTotal0

rpc.lock44565020.00.2rootSerV30Press:"h^-help

pilegc6553800.00,1rootCliV30"q"-quit

aixmibd39978340.01.0root

netm8519940.00.1root

java17040360.067.6root

cimserve52431120.023.6root

syned15722820.00.6root

A輸出信息說(shuō)明：

cpu的idle小于30%,即cpu的利用率大于70%認(rèn)為不正常

222查看占用CPU資源最多的進(jìn)程

＞檢查點(diǎn)：

操作系統(tǒng)進(jìn)程的CPU使用率是否存在高于正常基線的情況

＞檢查方法：

#psaux|head-1;psaux|sort-rn+2|head-10

＞標(biāo)準(zhǔn)：

查看CPU使用率前10的進(jìn)程，

CPU使用率偏離基線值需關(guān)注。

＞示例：

#psaux|head-1;psaux|sort-rn+2|head-10

USERPID%CPU%MEMSZRSSTTYSTATSTIMETIMECOMMAND

root13107626.10.06060-A11:45:25132:09wait

root78645623.60.06060-A11:45:25119:24wait

root17040360.18.06931269328-A11:51:130:25/var/opt/tivoli

root56361460.00.0808844-A11:51:490:00/bin/ksh/peons

root55705680.00.016681692-A11:52:340:00/usr/sbin/rset/

root55052620.00.011721204-A11:49:060:00/usr/sbin/snrepd

中科生財(cái)

AIX操作系統(tǒng)工作手朋siriodcifco

root54396640.00.05656-A11:49:010:00rdpgc

root53741200.00.0292308-A11:49:070:00/opt/freeware/c

root52431120.03.02420024224-A11:49:410:01[cimserve]

root51775640.01.071287152-A11:50:550:00/usr/bin/cimlis

＞輸出信息說(shuō)明:

無(wú)

2.2.3系統(tǒng)內(nèi)存使用率檢查

＞檢查點(diǎn)：

操作系統(tǒng)內(nèi)存使用率是否存在高于正常基線的情況

＞檢查方法：

#topas

#svmon-G

#vmstat130

＞標(biāo)準(zhǔn)：

操作系統(tǒng)內(nèi)存使用率超過(guò)70%則為系統(tǒng)不健康

操作系統(tǒng)內(nèi)存使用率未超過(guò)70%則為系統(tǒng)健康

＞示例：

#svmon-G

1

sizefreepin，上匕匚ua，mmode

memory393216209122184094