power systems for aix iii · 2015-03-06 · unit 3.error monitoring 작성자 : 이 현 수...

POWER SYSTEMS FOR AIX III :

ADVANCED ADMINISTRATION AND PROBLEM DETERMINATION

UNIT 3. ERROR MONITORING

유니원 아이앤씨(주)

시스템 기술 지원 팀

이 현 수

문서정보

과 목 명 Power Systems for AIX III: Advanced Administration and Problem Determination

단 원 명 Unit 3. Error monitoring

수강 장소 MIRHENGE 교육센터

수강 기간 2014-09-01 ~ 2014-09-05 작성일 2014-09-19

작 성 자 이 현 수 최종수정일 2014-10-14

재개정 이력

일자 내용 수정인 버전

문서배포 이력

발신자 수신자 배포목적 일자 비고


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 2 / 38

Content

1. 개요 .............................................................................................................................................................................................. 5

1.1. 단원 설명 ...................................................................................................................................................................... 5

1.2. 단원 목표 ...................................................................................................................................................................... 5

2. 에러 발생 논리 ....................................................................................................................................................................... 6

2.1. 에러 감지 ...................................................................................................................................................................... 6

2.2. 에러 로그 항목 생성 .............................................................................................................................................. 6

2.3. 관련 명령어 ................................................................................................................................................................. 7

2.3.1. errlogger ........................................................................................................................................................... 7

2.3.2. errclear ............................................................................................................................................................... 7

3. SMIT를 이용한 에러 보고서 생성 ................................................................................................................................. 8

3.1. 개요 ................................................................................................................................................................................. 8

3.2. 항목 설명 ...................................................................................................................................................................... 8

3.2.1. CONCURRENT Error Reporting? ............................................................................................................ 8

3.2.2. Type of Report ............................................................................................................................................... 8

3.2.3. Error CLASSES ................................................................................................................................................ 9

3.2.4. Error TYPES ...................................................................................................................................................... 9

3.2.5. Error LABELS ................................................................................................................................................ 10

3.2.6. Error ID’s ........................................................................................................................................................ 11

3.2.7. Resource CLASSES ..................................................................................................................................... 11

3.2.8. Resource TYPES .......................................................................................................................................... 11

3.2.9. Resource NAMES ....................................................................................................................................... 11

3.2.10. STARTING time interval / ENDING time interval ...................................................................... 12

3.2.11. Show only Duplicated Errors ............................................................................................................. 12

3.2.12. Consolidate Dulicate Errors ................................................................................................................ 12

3.2.13. FILENAME to send report to ............................................................................................................. 12

4. errpt 명령어 ........................................................................................................................................................................... 13

4.1. 사용 가능한 유형 .................................................................................................................................................. 13

4.2. 많이 사용하는 옵션들 ......................................................................................................................................... 13

4.2.1. -d 옵션 ........................................................................................................................................................... 13

4.2.2. -c 옵션 ............................................................................................................................................................ 14

4.2.3. -D 옵션 ........................................................................................................................................................... 14

4.2.4. -P 옵션 ........................................................................................................................................................... 15

4.3. 요약 보고서 : errpt ............................................................................................................................................... 16

4.3.1. 요약 보고서의 항목 ................................................................................................................................. 16


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 3 / 38

4.3.2. 세부 보고서의 필요 ................................................................................................................................. 16

4.4. 세부 에러 보고서 : errpt -a ............................................................................................................................. 17

4.4.1. 세부 보고서의 항목 ................................................................................................................................. 17

4.4.2. 에러 클래스 및 유형 해석 ................................................................................................................... 18

5. 디스크 에러의 유형 ........................................................................................................................................................... 19

5.1. 일반적인 디스크 에러 ......................................................................................................................................... 19

5.1.1. DISK_ERR1 ..................................................................................................................................................... 19

5.1.2. DISK_ERR2 & DISK_ERR3........................................................................................................................ 19

5.1.3. DISK_ERR4 ..................................................................................................................................................... 19

5.1.4. SCSI error ...................................................................................................................................................... 19

5.1.5. DISK_ERR5 ..................................................................................................................................................... 19

6. LVM 에러 로그 항목 ......................................................................................................................................................... 20

6.1. 중요 LVM 에러 코드 ............................................................................................................................................ 20

7. 에러 로그 유지 관리 ........................................................................................................................................................ 21

7.1. 에러 로그 속성 변경 ........................................................................................................................................... 21

7.2. 에러 로그 항목 청소 ........................................................................................................................................... 21

8. 에러 통보 방법 .................................................................................................................................................................... 23

8.1. 에러 통보란? ............................................................................................................................................................ 23

8.2. 에러 통보 방법 ....................................................................................................................................................... 23

8.2.1. 동시 에러 기록 .......................................................................................................................................... 23

8.2.2. 자체 제작된 에러 통보 .......................................................................................................................... 23

8.2.3. ODM 기반 에러 통보 : errnotify ....................................................................................................... 24

9. syslogd 데몬 .......................................................................................................................................................................... 26

9.1. syslogd 기능 ............................................................................................................................................................. 26

9.2. /etc/syslog.conf 환경설정 파일 ....................................................................................................................... 26

9.3. syslogd 환경 설정 예 .......................................................................................................................................... 27

9.3.1. /etc/syslog.conf 항목의 일반적인 포맷 .......................................................................................... 27

9.3.2. 기능 ................................................................................................................................................................. 27

9.3.3. 우선순위 ........................................................................................................................................................ 28

9.4. 에러 로그로 syslog 메시지 재전송 .............................................................................................................. 28

9.4.1. 에러 메시지 통합 ...................................................................................................................................... 28

9.4.2. syslogd에서 에러 로그로 메시지 재전송 ...................................................................................... 28

9.5. syslogd로 에러 로그 메시지 전송 ................................................................................................................. 29

9.5.1. logger 명령어 사용 .................................................................................................................................. 29

9.5.2. 명령 치환 ...................................................................................................................................................... 29

10. 시스템 중단(System hang) 감지 ............................................................................................................................... 30


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 4 / 38

10.1. 시스템 중단 유형 ................................................................................................................................................ 30

10.1.1. 높은 우선순위 프로세스 ..................................................................................................................... 30

10.1.2. 기타 ............................................................................................................................................................... 30

10.2. shdaemon 설명 .................................................................................................................................................... 30

10.2.1. shdaemon 이란? ..................................................................................................................................... 30

10.2.2. shdaemon의 작동 ................................................................................................................................... 30

10.3. shdaemon 설정 .................................................................................................................................................... 31

10.3.1. shdaemon 활성 ....................................................................................................................................... 31

10.3.2. 동작 속성 ................................................................................................................................................... 31

11. syslogd 실습 ....................................................................................................................................................................... 32

11.1. inetd 데몬 디버그 메시지 ............................................................................................................................... 32

11.1.1 /etc/syslog.conf 파일백업 .................................................................................................................... 32

11.1.2. /etc/syslog.conf 파일 수정 ................................................................................................................. 32

11.1.3. syslog.debug 파일 생성 ...................................................................................................................... 32

11.1.4. 변경 사항 적용 ........................................................................................................................................ 32

11.1.5. inetd 재 시작 ............................................................................................................................................ 33

11.1.6. 텔넷 접속 ................................................................................................................................................... 33

11.1.7. syslog.debug 파일 분석 ...................................................................................................................... 33

11.1.8. inetd 데몬 복원 ....................................................................................................................................... 34

11.2. 모든 메시지 ........................................................................................................................................................... 34

11.2.1. /etc/syslog.conf 파일 수정 ................................................................................................................. 34

11.2.2. syslogd 새로 고침 .................................................................................................................................. 34

11.2.3. 비 정상 접속 ............................................................................................................................................ 35

11.2.4. 원 상태로 복원 ........................................................................................................................................ 36

12. 에러 통보 실습 ................................................................................................................................................................. 37

12.1. errnotify를 이용한 에러 통보 ........................................................................................................................ 37

12.1.1. errnotify 객체 생성 ................................................................................................................................ 37

12.1.2. 에러 로그 생성 ........................................................................................................................................ 37

12.1.3. root 메일 확인 ......................................................................................................................................... 38


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 5 / 38

1. 개요

1.1. 단원 설명

이 단원은 문제를 모니터링 하는 기술과 이러한 문제에 대한 응답을 자동화 하는 방법에

대하여 다룬다. 핵심은 AIX 에러 로그 기능(syslogd 데몬과 상호작용하는 방법), 시스템 정지

(shdaemon) 모니터링 기술이다.

1.2. 단원 목표

− 에러 로그 분석

− 에러 로그 요소의 식별과 유지

− 다른 에러 공지 방법 설명

− syslogd 데몬을 사용한 로그 시스템 메시지

− shdaemon을 사용한 정지 상태 모니터와 조치


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 6 / 38

2. 에러 발생 논리

[그림 2-1] 에러 발생 논리

2.1. 에러 감지

에러 로그를 만드는 프로세스는 운영체제가 에러를 감지할 때 시작한다. 코드의 에러 감지

부분은 에러 정보를 errsave() 커널 서비스 또는 errlog() 프로그램 서브루틴으로 보낸다. 보내

진 정보는 특별한 파일 /dev/error에 기록된다. 그 후, 프로세스는 수집된 데이터에 타임 스탬

프를 찍는다. errdemon 데몬은 새로운 데이터가 기록될 때마다 /dev/error 파일을 확인한다.

2.2. 에러 로그 항목 생성

errdemon 데몬은 에러 로그에 정보들을 기록하기 전, 시스템의 다른 부분으로부터 추가적

인 데이터를 수집한다. 그 중에는 어떤 정보가 필요한지 식별하는 에러 기록 템플릿(Error

Record Template : /var/adm/ras/errtmplt)이 있다. 예를 들어, 만약 에러가 하드웨어와 관련된

문제를 나타내고 하드웨어 필수 제품 데이터(hardware vital product data : VPD)가 존재한다면,

데몬은 ODM에서 VPD를 가져온다.

errpt 명령을 통해 에러 로그에 접근할 때, 에러 로그는 에러 로그 템플릿에 있는 에러 템

플릿에 맞게 포맷되고 요약 또는 세부 보고서를 기록한다. 예를 들어, 에러 로그에 있는 대부

분의 항목들은 하드웨어와 소프트웨어 문제들이다. 하지만 시스템 관리자들이 errlogger 명령

을 사용하여 정보 메시지들을 기록하기도 한다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 7 / 38

2.3. 관련 명령어

2.3.1. errlogger

errlogger 명령은 시스템 관리자가 에러 로그에 1024바이트까지 메시지를 기록하도록 해

준다. 에러 로그의 항목들을 지운다거나 하드웨어 교체, 소프트웨어 적용 등과 같은 유지

보수 관리 활동을 할 때마다 시스템 에러 로그에 기록해 놓는 것이 좋다.

다음은 errlogger 명령의 사용 예이다.

# errlogger system hard disk ‘(hdisk0)’ replaced.

이 메시지는 에러 로그의 일부에 기록될 것이다.

2.3.2. errclear

errclear 명령은 에러 로그의 기록을 선택적으로 지울 수 있게 해준다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 8 / 38

3. SMIT를 이용한 에러 보고서 생성

[그림 3-1] smit errpt 화면 예

3.1. 개요

smit errpt 명령을 사용하여 에러 보고서를 생성할 수 있는 SMIT을 실행할 수 있다. 모든

사용자가 사용 가능하다. [그림 3-1]과 같이 화면은 보고서에 사용될 많은 항목들을 보여준다.

3.2. 항목 설명

3.2.1. CONCURRENT Error Reporting?

yes를 할 경우 에러 로그에 입력된 대로 표시 또는 인쇄되는 것을 의미한다(tail -f 정렬)

3.2.2. Type of Report

[그림 3-2] Type of Report 세부 항목


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 9 / 38

summary, intermediate, detailed 세가지를 선택할 수 있다. detailed는 포괄적인 정보를

보여준다. intermediate는 대부분의 에러 정보를 보여준다. summary는 에러의 요약된 정보

를 보여준다.

3.2.3. Error CLASSES

[그림 3-3] Error CLASSES 세부 항목

가능한 값으로는 H(하드웨어), S(소프트웨어), O(errlogger로 만들어진 운영 메시지)가 있

다. 이 중에서 하나 이상 선택할 수 있다(복수 선택 가능).

3.2.4. Error TYPES

[그림 3-4] Error TYPES 세부 항목

PEND : 장치 또는 구성 요소의 손실 가능성이 임박함. 곧 장애발생 가능성이 있음.

PERF : 장치 또는 구성 요소의 성능이 허용 가능한 수준 이하로 저하됨.

TEMP : 몇 번의 시도 후 복원됨(소프트웨어는 복원되기도 하지만 하드웨어의 경우


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 10 / 38

확인 필요)

PERM : 에러 상태 복원 불가능. 일반적으로 가장 심각한 오류를 의미함. 하드웨어

또는 소프트웨어의 결함 발생을 의미. 즉각적인 조치 필요. 일반적으로 PERM 이외

의 오류 유형은 결함을 나타내지 않지만 진단 프로그램에 의해 분석될 수 있도록

기록됨.

UNKN : 에러의 심각도를 판별할 수 없음.

INFO : 정보 기록으로 사용.

3.2.5. Error LABELS

[그림 3-5] Error LABELS 세부 항목

에러 ID에 사용될 약호 이름이다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 11 / 38

3.2.6. Error ID’s

[그림 3-6] Error ID’s 세부 항목

특정 장애를 식별하기 위해 사용되는 32비트 16진수 코드이다.

3.2.7. Resource CLASSES

하드웨어 에러에 대한 장치 클래스를 의미한다(예 : disk).

3.2.8. Resource TYPES

하드웨어 장치 유형을 나타낸다(예 : 355MB).

3.2.9. Resource NAMES

일반적인 장치 이름을 제공한다(예 : hdisk0).


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 12 / 38

3.2.10. STARTING time interval / ENDING time interval

mmddhhmyy 형식은 두 값 사이의 타임 스탬프 된 로그에서 에러만 선택하는데 사용될

수 있다.

3.2.11. Show only Duplicated Errors

yes를 선택할 경우, 명시된 시간 구간 동안 생성된 사전 에러와 중복되는 에러들만 보여

준다. 디폴트 시간 구간은 100밀리 초 이다. 이 값은 errdemon -t 명령으로 변경 가능하다.

Show only Duplicated Errors 옵션의 디폴트는 no 이다.

3.2.12. Consolidate Dulicate Errors

yes를 선택할 경우 중복 에러의 번호 및 에러가 발생한 처음과 끝의 타임 스탬프를 보여

준다. 디폴트로는 no로 설정되어 있다.

3.2.13. FILENAME to send report to

보고서는 파일로 보내질 수 있다. 디폴트로는 stdout로 보내진다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 13 / 38

4. errpt 명령어

4.1. 사용 가능한 유형

errpt 명령은 /var/adm/ras/errlog 파일을

조회하고 기록된 정보를 보여준다. 사용되는

옵션에 따라 3가지 형태로 나눌 수 있다.

− 개요를 볼 수 있는 요약 보고서(기

본 설정)

− 라벨 값, 날짜/시간, 유형, 리소스

이름, 묘사, 세부 데이터 필드를 볼

수 있는 중급 보고서(-A 옵션 사용).

− 모든 에러 항목의 자세한 설명을

보여주는 세부 보고서(-a 옵션 사

용).

4.2. 많이 사용하는 옵션들

4.2.1. -d 옵션

-d 옵션은 에러의 특정 클래스만 제한적으로 보고 싶을 때 쓰인다. 다음은 이 옵션에 대

한 두 가지 예이다.

errpt -d H 명령은 모든 하드웨어 에러에 대한 요약을 보여준다.

[그림 4-2] errpt -d H 사용 예

[그림 4-1] errpt -A 사용 예


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 14 / 38

errpt -a -d S 명령은 모든 소프트웨어 에러에 대한 세부 사항을 보여준다.

[그림 4-3] errpt -a -d S 사용 예

4.2.2. -c 옵션

에러 발생과 동시에 보고자 할 때, 즉, 에러가 기록됨과 동시에 화면에 보여지게 하고자

할 때, errpt -c를 실행한다.

[그림 4-4] errpt -c 사용 예

4.2.3. -D 옵션

중복 에러들은 errpt -D를 사용하여 종합할 수 있다. -a 옵션과 함께 사용하면 에러 발생

의 처음과 끝 타임 스탬프와 중복 에러의 번호를 보여준다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 15 / 38

[그림 4-5] errpt -D 사용 예

[그림 4-6] errpt -a -D 사용 예

4.2.4. -P 옵션

사전 에러의 중복 에러만 보여준다. 오직 에러 로그 장치 드라이버에 의해 만들어진 중

복 에러만 적용된다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 16 / 38

4.3. 요약 보고서 : errpt

[그림 4-7] errpt 설명 및 사용 예

4.3.1. 요약 보고서의 항목

기본적으로 errpt 명령은 에러들의 전체적인 개요를 알 수 있는 요약 보고서를 생성한다.

무슨 에러인지 감을 잡기에는 좋지만, 이해하기 위해서는 더 자세한 내용이 필요하다.

4.3.2. 세부 보고서의 필요

[그림 4-7]은 하드웨어와 소프트웨어에서 발생된 서로 다른 에러를 보여준다. 이 에러들

에 대한 더 많은 정보를 얻기 위해서는 세부 보고서를 만들어야 한다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 17 / 38

4.4. 세부 에러 보고서 : errpt -a

[그림 4-8] errpt -a 설명 및 사용 예

4.4.1. 세부 보고서의 항목

세부적인 에러 보고서는 errpt -a 명령을 통해 생성할 수 있다. 상위 절반 정도의 정보들

은 ODM(CuDv, CuAt, CuVPD)에서 얻을 수 있으며, 어떤 부분에서 에러가 발생했는지 명확

하게 보여주기 때문에 매우 유용하다. 그 다음 나오는 부분은 문제 발생의 추측 가능한 원

인이며, 이를 통해 문제 해결 방법을 모색할 수 있다.

가장 마지막에 SENSE DATA 라는 것이 나오는 경우도 있는데, 이것은 장치의 어떤 부분

에서 장애가 발생했는지에 대한 세부 보고서이다. 예를 들어, 디스크의 어떤 섹터에서 에러

가 발생했는지 알 수 있는 것이다. 이 정보는 IBM support에서 문제 분석을 할 때 사용된

다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 18 / 38

4.4.2. 에러 클래스 및 유형 해석

에러 클래스와 에러 유형은 특정 문제를 이해하는데 유용한 정보를 제공한다.

에러 클래스 : H, 에러 유형 : PERM

→ 시스템이 하드웨어의 한 부분에서 문제를 발견했으며, 복구되지 않음

에러 클래스 : H, 에러 유형 : PEND

→ 시스템이 많은 에러를 발견했기 때문에 곧 하드웨어의 한 부분이 사용할 수

없게 됨.

에러 클래스 : S, 에러 유형 : PERM

→ 시스템이 소프트웨어의 문제를 발견했으며, 복구되지 않음.

에러 클래스 : S, 에러 유형 : TEMP

→ 시스템이 소프트웨어의 문제를 발견했으며, 몇 차례의 시도 후에 문제를 복원

함.

에러 클래스 : O

→ 정보전달 측면의 메시지가 기록됨

에러 클래스 : U

→ 알 수 없음.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 19 / 38

5. 디스크 에러의 유형

에러 라벨 에러

유형 권고 사항 비고

DISK_ERR1 P 물리 볼륨 매체 실패

조치 : 가능한 빨리 장치 교체

주로 하드웨어 에러

(디스크 자체 문제)

DISK_ERR2,

DISK_ERR3 P

장치 응답 없음

조치 : 전원 공급 확인 주로 전원 장애

DISK_ERR4 T 배드 블록에 의한 에러 또는 복구 에러 발생

조치 : 한 주에 1번 이상 발생하면 디스크 교체

배드 블록 발생 시

추후 장애발생 가능성이 있

으므로 디스크 교체

SCSI_ERR*

(SCSI_ERR10) P

SCSI 통신 장애

조치 : 케이블 확인, SCSI 주소 확인

P : 영구적, T : 임시

[표 5-1] 디스크 에러의 유형

5.1. 일반적인 디스크 에러

5.1.1. DISK_ERR1

디스크가 마모되어 발생한다. 시스템에서 가능한 한 빠른 시일 내에 디스크를 제거한 후,

새 것으로 교체해야 한다.

5.1.2. DISK_ERR2 & DISK_ERR3

대부분 전원 공급이 없을 때 발생한다.

5.1.3. DISK_ERR4

디스크에 배드 블록이 있다는 것을 나타내므로 가장 많은 주의를 기울여야 한다.

DISK_ERR4 에러의 번호와 발생 빈도를 알고 있어야 한다. 더 많은 정보를 얻을수록, 디스

크 실패와 가까워 진다. 이러한 일이 발생되지 않게 막으려면 에러 로그를 주의 깊게 관찰

해야 한다.

5.1.4. SCSI error

때때로 SCSI 에러(대부분 LABEL SCSI_ERR10)가 기록된다. SCSI 컨트롤러가 붙어있는 장치

와 통신할 수 없음을 나타낸다. 이러한 경우에 케이블 확인(케이블 길이), SCSI 주소 등을

확인한다.

5.1.5. DISK_ERR5

매우 드물게 발생한다. 발생한 문제가 DISK_ERRx 증상의 어떤 것과도 맞지 않을 경우다.

진단 프로그램을 실행하여 더 많은 조사를 할 필요가 있다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 20 / 38

6. LVM 에러 로그 항목

에러 라벨 클래스,

타입 권고사항 비고

LVM_BBEPOOL,

LVM_BBERELMAX,

LVM_HWFAIL

S, P 배드 블록 재배치 불가

조치 : 가능한 빨리 디스크 교체 여유 공간 부족

LVM_SA_STALEPP S, P

오래된 물리 파티션

조치 : 디스크 확인, 데이터 동기화

(syncvg)

교체 후 동기화 필요

(미러된 디스크 장애)

LVM_SA_QUORCLOSE H, P 쿼럼 손실, 볼륨 그룹 폐쇄

조치 : 디스크 확인, 쿼럼 없이 작업

클래스 - H : 하드웨어, S : 소프트웨어

유형 - P : 영구적, T : 임시

[표 6-1] LVM 에러 로그 항목

6.1. 중요 LVM 에러 코드

[표 6-1]은 알아야 하는 매우 중요한 LVM 에러 코드들 중 일부이다. 이 모든 에러는 복구

될 수 없는 영구적인 에러들이다. 대부분 하드웨어 에러와 함께 나타난다. 이러한 에러는 즉

각적인 조치를 필요로 한다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 21 / 38

7. 에러 로그 유지 관리

7.1. 에러 로그 속성 변경

[그림 7-1] smit errdemon

에러 로그 파일 이름, 내부 메모리 버퍼 크기, 에러 로그 파일 크기와 같은 에러 로그 속성

을 변경하기 위해 smit errdemon 명령을 통한 SMIT을 이용한다. 에러 로그는 고리 형태로

실행된다. 파일이 한도에 도달하면, 새로운 항목이 추가되면서 가장 오래된 항목은 삭제된다.

SMIT는 errdemon 명령으로 실행할 수 있다.

7.2. 에러 로그 항목 청소

[그림 7-2] smit errclear

에러 로그 항목을 청소하기 위해 smit errclear 명령을 이용한 SMIT를 사용한다. 예를 들어,

에러를 유발한 불량 디스크를 제거한 후, 불량 디스크에 해당하는 에러 로그 항목을 지워야

한다. errclear 명령어는 bos.sysmgt.serv_aid 파일집합의 한 부분이다.

/var/spool/cron/crontabs/root에 있는 항목들은 소프트웨어나 하드웨어 에러를 제거하기 위


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 22 / 38

해 errclear를 사용한다. 소프트웨어나 오퍼레이터 에러는 30일 후에 제거되고 하드웨어 에러

는 90일 후에 제거된다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 23 / 38

8. 에러 통보 방법

8.1. 에러 통보란?

에러가 에러 로그에 기록될 때마다 시스템이 정보를 알리는 것이다.

8.2. 에러 통보 방법

8.2.1. 동시 에러 기록

에러 통보 방법 중 가장 쉬운 방법이다. errpt -c를 실행하면, 에러가 발생될 때마다 보고

된다. 출력을 콘솔로 재지정 하면, 오퍼레이터는 각각의 새로운 에러 항목에 대한 정보를

받는다.

8.2.2. 자체 제작된 에러 통보

[그림 8-1] 에러 통보 쉘 스크립트의 예

가장 먼저 errpt 명령어는 /tmp/errlog.1 파일을 만든다.

while true 구조는 무한 반복을 수행한다.

무한 반복 구조 안에서는 가장 먼저 1분동안 기다린다.

다음으로 errpt 명령어가 /tmp/errlog.2 파일을 만든다.

생성된 두 개의 파일은 cmp -s 명령을 통해 비교된다(따로 출력되는 것은 없음).

만약, 차이가 없다면 반복문의 처음으로 돌아가서(continue) 다시 1분간 기다린다.

만약 두 파일 내용에 차이가 있다면, 새로운 에러는 에러 로그에 기록된다. 이 경

우, 오퍼레이터는 에러 로그에 새로운 항목이 추가되었음을 알린다. print 대신

mail 명령을 통해 다른 사람에게 알릴 수도 있다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 24 / 38

8.2.3. ODM 기반 에러 통보 : errnotify

[그림 8-2] errnotify 클래스의 예

에러 통보 클래스(Error Notification object class)는 시스템 에러 로그에 에러가 기록될 때

의 상태와 활동을 명시한다.

에러가 기록될 때, 에러 통보 데몬(error notification daemon)은 에러 통보 객체(Error

Notification objects)의 어떤 기준과 부합하는지 결정한다. 부합되는 것이 있으면 데몬은 통

보 방법이라 할 수 있는 프로그램을 호출하여 실행한다.

에러 통보 객체 클래스는 /etc/objrepos/errnotify 파일에 있다. 에러 통보 객체는 ODM

명령어를 사용하여 객체 클래스에 추가된다.

항 목 설 명

en_alertflg

에러 경보가 가능한지 여부를 식별한다. 네트워크 관리 프로그램의 경보

기능에 의해 사용된다. 값으로는 TRUE(경보 가능) 또는 FALSE(경보 불가

능)가 온다.

en_class 에러 로그와 부합하는 클래스를 식별한다. 유효 값으로는 H(하드웨어 에

러), S(소프트웨어 에러), O(오퍼레이터 메시지), U(알 수 없음)가 있다.

en_crcid 특정 에러와 관련된 에러 식별자를 명시한다.

en_label 특정 에러 식별자와 관련된 라벨(errpt -t로 확인가능)을 명시한다.

en_method

쉘 스크립트나 명령 줄과 같은 프로그램화된 활동을 명시한다. 에러 통

보 객체의 기준과 부합하는 에러가 기록될 때 실행된다. 에러 통보 데몬

은 통보 방법을 수행하기 위해 sh -c 명령을 사용한다.

다음 키워드는 인수(argument) 값으로 사용된다.

$1 : 에러 로그 항목의 번호

$2 : 에러 로그 항목의 에러 ID


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 25 / 38

$3 : 에러 로그 항목의 클래스

$4 : 에러 로그 항목의 유형

$5 : 에러 로그 항목의 경보 신호(alert flag)

$6 : 에러 로그 항목의 자원(Resource) 이름

$7 : 에러 로그 항목의 자원 유형

$8 : 에러 로그 항목의 자원 클래스

$9 : 에러 로그 항목의 에러 라벨

en_name 객체를 고유하게 식별한다.

en_persistenceflg 시스템이 재 시작 하였을 때 제거되는 에러 통보 객체인지를 나타낸다.

0일 경우 제거되고 1일 경우 영구적이다.

en_pid 에러 통보 객체 식별에 사용되는 프로세스 ID를 나타낸다. 명시된 PID

를 갖는 객체는 en_persistenceflg 값이 0으로 설정되어야 한다.

en_rclass 불량 자원의 클래스를 식별한다. 하드웨어 에러의 경우, 자원 클래스는

장치 클래스(PdDv)이다. 소프트웨어 에러에는 사용되지 않는다.

en_resource 불량 자원의 이름을 식별한다. 하드웨어 에러의 경우, 자원 이름은 장치

이름이다. 소프트웨어 에러에는 사용되지 않는다.

en_rtype 불량 자원의 유형을 식별한다. 하드웨어 에러의 경우, 자원 유형은 장치

유형(PdDv)이다. 소프트웨어 에러에는 사용되지 않는다.

en_symptom TRUE로 설정할 경우 증상에 대한 내용도 함께 통보된다.

en_type

일치하는 에러 로그 항목의 심각도를 식별한다.

INFO : 정보

PEND : 가용의 손실이 임박함

PERM : 영구적

PERF : 허용되지 않는 성능 저하

TEMP : 임시

UNKN : 알 수 없음

TRUE : 경보 에러

FALSE : 비 경보 에러

0 : 시스템 재 시작 후, 에러 통보 객체 제거

0이 아닌 숫자 : 시스템 재 시작 후, 에러 통보 객체 남김

en_err64 에러의 환경 구성을 식별한다. TRUE일 경우 64 비트 환경이다.

en_dup 커널에서 에러 식별을 중복으로 수행할지 여부를 결정한다. TRUE일 경

우 중복 에러를 나타낸다.

[표 8-1] errnotify 객체 클래스의 항목


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 26 / 38

9. syslogd 데몬

[그림 9-1] 문제 발생 시 이뤄지는 일반적인 과정

그림 [9-1]은 데몬 프로세스가 문제를 야기할 때 종종 사용되는 환경 설정이다. ‘daemon.debug

/tmp/syslog.debug’ 줄은 /etc/syslog.conf에 들어있는 내용 중 일부이며, 감시/제어 기능을 나타낸

다. 또한 디버그 우선 순위에 대한 모든 메시지들이 /tmp/syslog.debug에 기록되어야 함을 나타

낸다. 단, syslog.debug 파일은 직접 생성해 줘야 한다.

문제를 발생시키는 데몬 프로세스(그림에서는 inetd)는 디버그 정보를 제공하기 위해 -d 옵션으

로 시작되어야 한다. 디버그 정보는 syslogd 데몬에 의해 수집되며, /tmp/syslog.debug 로그 파일

에 기록된다.

9.1. syslogd 기능

syslogd 데몬은 다른 소프트웨어 요소(커널, 데몬 프로세스, 시스템 어플리케이션)로부터 시

스템 메시지를 기록한다.

9.2. /etc/syslog.conf 환경설정 파일

syslogd는 시작될 때, /etc/syslog.conf 환경설정 파일을 읽는다. 이 환경설정 파일을 변경할

때마다 syslogd를 새로 고침 해줘야 한다.

# refresh -s syslogd


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 27 / 38

9.3. syslogd 환경 설정 예

[그림 9-2] syslogd 환경 설정 예

9.3.1. /etc/syslog.conf 항목의 일반적인 포맷

/etc/syslog.conf 항목의 일반적인 포맷은 다음과 같다.

선택(selector) 작동(action)

선택 부분은 기능(facility)과 우선순위(priority level)가 온다. 각 기능은 쉼표(,)로 구분된다.

선택 부분에서 기능과 우선순위는 마침표(.)로 구분된다. 같은 선택 부분에서 다중 항목은

세미콜론(;)으로 구분된다. 모든 기능을 선택하려면 별표(*)를 사용한다.

동작 부분은 메시지를 받는 목적지(파일, 호스트, 사용자)를 명시한다. 만약 원격 호스트

로 보내진다면, 메시지는 원격 시스템의 환경설정에 의해 다뤄진다. 메시지를 유저 터미널

에 출력하려면 목적지 부분에 로그인 된 시스템 사용자의 이름이 포함되어야 한다.

9.3.2. 기능

다음 표는 선택(selector) 부분에 사용될 수 있는 시스템 기능(facility) 이름들이다.

kern 커널

user 사용자 레벨

mail 메일 하위시스템

daemon 데몬 시스템

auth 보안 또는 허가

syslog syslogd 메시지

lpr 라인 프린터 하위시스템

news 뉴스 하위시스템

uucp uucp 하위시스템

* 모든 기능

[표 9-1] 기능 이름 종류


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 28 / 38

9.3.3. 우선순위

다음 표는 선택(selector) 부분에 사용할 수 있는 우선순위이다.

emerg 긴급(emergency) 메시지. 모든 사용자에게 전달되지 않음.

alert 심각한 하드웨어 에러와 같은 중요(important) 메시지. 모든 사용자에게 전달

됨.

crit 에러가 아닌 부적절한 로그인 시도와 같은 중대한(critical) 메시지. 시스템 콘솔

로 전달됨.

err 에러 상태를 나타내는 메시지.

warning 비정상적이지만 복원될 수 있는 상태 메시지.

notice 중요한 정보 메시지.

info 시스템 분석에 유용한 정보 메시지.

debug 디버깅(debugging) 메시지.

none 선택된 기능 제외.

[표 9-2] 우선순위 종류

9.4. 에러 로그로 syslog 메시지 재전송

[그림 9-3] syslogd에서 에러 로그로 메시지 재전송 방법

9.4.1. 에러 메시지 통합

몇몇 어플리케이션은 에러 및 이벤트 기록에 syslogd를 사용한다. 몇몇 관리자들은 모든

에러를 하나의 보고서로 보길 원한다.

9.4.2. syslogd에서 에러 로그로 메시지 재전송

작동 부분을 errlog로 설정하면 모든 메시지가 AIX 에러 로그로 재전송 된다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 29 / 38

9.5. syslogd로 에러 로그 메시지 전송

[그림 9-4]

9.5.1. logger 명령어 사용

errnotify ODM 클래스와 logger 명령을 사용하여 에러 로그 이벤트를 syslogd로 보낼 수

있다. [그림 9-4]와 같이 객체를 사용하여 에러 로그에 항목이 추가될 때마다 마지막 항목

을 logger 명령으로 보낼 수 있다.

9.5.2. 명령 치환

logger 명령을 호출하기 전에 명령 치환(또는 파이프)을 할 필요가 있다. [그림 9-4]의 처

음 두 개의 예는 콘쉘 환경에서 명령어를 치환하는 두 가지 방법을 나타낸다.

첫 번째 예 - ‘유닉스 명령어’ 문법 사용(backquotes : `)

두 번째 예 - 새로운 유닉스 명령어 $ 문법 사용


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 30 / 38

10. 시스템 중단(System hang) 감지

10.1. 시스템 중단 유형

shdaemon은 특정 유형의 시스템 중단으로부터 복구를 하는데 도움이 될 수 있다. 시스템

중단은 두 가지 유형으로 나눌 수 있다.

10.1.1. 높은 우선순위 프로세스

일부 어플리케이션의 프로세스나 스레드(thread)의 우선순위를 너무 높게 조정할 경우 시

스템이 정지될 수 있다. 이러한 경우에 높은 우선순위 프로세스에 의해서만 작업이 완료된

다. 이 상황에서 shdaemon은 이러한 유형의 시스템 중단을 확실하게 다룰 수 있다.

10.1.2. 기타

중단의 다른 유형들은 다양한 문제들에 의해 발생할 수 있다. 예를 들어, 시스템 파괴

(system thrashing), 커널 교착 상태(kernel deadlock), 커널 순환(kernel in loop)등이 있다.

이러한 경우에는 의미 없는(또는 매우 적은) 작업이 이루어 질 것이다. shdaemon은 이러한

문제에 약간의 도움이 된다.

10.2. shdaemon 설명

10.2.1. shdaemon 이란?

활성화 할 경우, shdaemon은 한계점 보다 높은 우선순위 숫자를 갖는 프로세스 중, 제한

시간 안에 동작하는 프로세스가 있는지 감시한다. 프로세스 우선순위 숫자는 더 높은 수

일수록 더 낮은 우선순위를 나타낸다. 사실상 shdaemon은 더 낮은 우선순위의 프로세스들

이 동작하는지를 감시하는 것이다.

shdaemon은 가장 높은 우선순위(우선순위 숫자 = 0)로 동작한다. 이 때문에, CPU에 매

우 높은 프로세스가 동작하고 있다고 하더라도 shdaemon은 항상 CPU 시간을 가져갈 수

있다.

10.2.2. shdaemon의 작동

만약 낮은 운선순위의 프로세스가 CPU에 예약되지 않았다면, shdaemon은 특별한 조치

를 취한다. 각각의 조치사항은 독립적으로 활성화 할 수 있고 독립적으로 우선순위를 설정

할 수 있으며, 제한시간 값을 가질 수 있다. 다음은 5가지의 조치 사항이다.

에러 로그에 에러 기록

콘솔에 경고 메시지 출력

콘솔에서 복구 로그인 시작

명령어 실행

시스템 자동 재 시작


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 31 / 38

10.3. shdaemon 설정

[그림 10-1] shdaemon 설정 값의 예

shdaemon 구성 정보는 SWservAt ODM 객체 클래스에 속성으로 저장되어 있다. 환경설정

변경은 즉시 적용되며 재 시작 후에도 적용된다. shconf(또는 smit shd)를 사용하여 연재

shdaemon의 환경설정 상태를 보거나 구성할 수 있다.

10.3.1. shdaemon 활성

shdaemon을 활성화 하려면 적어도 두 개 이상의 요소를 변경해야 한다.

우선순위 감시 활성(sh_pp)

하나 이상의 동작 활성(pp_errlog, pp_warning, 등등)

shdaemon을 활성화 하면, shconf는 다음 과정을 수행한다.

SWservAt 요소 변경

shdaemon 시작

시스템 시작 시 shdaemon이 시작되도록 /etc/inittab 변경

10.3.2. 동작 속성

각각의 동작들은 그들만의 속성을 가지고 있다. 속성에서 우선순위, 제한시간, 동작 정의

등을 설정할 수 있다. 제한시간은 분단위로 설정한다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 32 / 38

11. syslogd 실습

11.1. inetd 데몬 디버그 메시지

11.1.1 /etc/syslog.conf 파일백업

현재 설정 파일인 /etc/syslog.conf 파일을 /tmp 디렉토리에 복사하여 백업해 놓는다. 그

후, 현재 설정을 변경하기 위해 vi 에디터로 /etc/syslog.conf 파일을 연다.

[그림 11-1] syslog.conf 파일 백업

11.1.2. /etc/syslog.conf 파일 수정

모든 데몬 메시지가 /tmp/syslog.debug 파일에 기록되도록 syslogd를 설정하기 위해

/etc/syslog.conf 파일을 수정한다.

가장 아래에 다음 줄을 추가한다.

daemon.debug /tmp/syslog.debug

[그림 11-2] syslog.conf 파일 수정

11.1.3. syslog.debug 파일 생성

touch 명령어를 이용하여 /tmp/syslog.debug 파일을 생성한다.

[그림 11-3] syslog.debug 파일 생성

11.1.4. 변경 사항 적용

수정된 내용이 적용 되도록 syslogd 데몬을 새로고침 한다.

[그림 11-4] syslogd 새로고침


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 33 / 38

11.1.5. inetd 재 시작

inetd 데몬을 정지한 후, 디버그 모드로 재 시작 한다. 적절한 시스템 자원 제어(System

Resource Controller)명령어를 사용하여 inetd 데몬을 디버그 모드로 실행한다(-d 옵션).

[그림 11-5] inetd 디버그 모드로 재시작

11.1.6. 텔넷 접속

telnet 명령을 사용하여 시스템에 로그인 한다. 그 후, 텔넷을 종료한다. 이 과정은 다양

한 디버그 메시지를 기록하게 된다.

[그림 11-6] 텔넷 접속

11.1.7. syslog.debug 파일 분석

/tmp/syslog.debug 파일의 요소들을 분석한다. inetd 데몬에서 수행한 많은 디버그 메시

지들을 볼 수 있다.


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 34 / 38

[그림 11-7] syslog.debug 내용

11.1.8. inetd 데몬 복원

inetd 데몬을 정지한 후, 디버그 모드를 풀고 재 시작 한다. 적절한 시스템 자원 제어

(System Resource Controller) 명령어를 사용하여 inetd 데몬을 시작한다.

[그림 11-8] inetd 재 시작

11.2. 모든 메시지

11.2.1. /etc/syslog.conf 파일 수정

모든 메시지가 AIX 에러 로그로 전송되도록 /etc/syslog.conf 파일을 수정한다.

[그림 11-9] syslog.conf 파일 수정

11.2.2. syslogd 새로 고침

수정 사항이 반영되도록 syslogd 하위 시스템을 새로 고침 한다.

[그림 11-10] syslogd 새로 고침


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 35 / 38

11.2.3. 비 정상 접속

syslogd 메시지를 생성한다. 예를 들어, 로그인 시 잘못된 암호를 입력한다. 그 후, 에러

로그에 기록된 메시지를 확인한다.

[그림 11-11] 로그인 실패

[그림 11-12] 로그 메시지 확인


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 36 / 38

11.2.4. 원 상태로 복원

/tmp 디렉토리에 백업했던 /etc/syslog.conf 파일을 사용하여 원 상태로 복원한 후,

syslogd를 새로 고침 한다.

[그림 11-13] syslog.conf 복원


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 37 / 38

12. 에러 통보 실습

12.1. errnotify를 이용한 에러 통보

12.1.1. errnotify 객체 생성

errlog에 오퍼레이터 메시지가 등록될 때마다 root에게 메일이 가도록 하는 errnotify 객

체를 생성한다. 그러기 위해서 우선 notify.add라는 파일을 vi 편집기를 통해 생성한다.

[그림 12-1] notify.add 생성

notify.add의 내용은 다음과 같다.

[그림 12-2] notify.add 내용

notify.add 파일을 생성하였으면 다음과 같이 errnotify 클래스에 추가한 후, 확인해 본다.

[그림 12-3] notify.add 추가 및 확인

12.1.2. 에러 로그 생성

errlogger 명령을 실행하여 errlog에 새로운 항목을 생성한다.

[그림 12-4] 로그 생성


작성자 : 이 현 수 최종수정일 : 2014-10-14

페이지 38 / 38

12.1.3. root 메일 확인

잠시 기다린 후, root 사용자의 메일을 확인한다.

[그림 12-5] root 메일

power systems for aix iii · 2015-03-06 · unit 3.error monitoring 작성자 : 이 현 수...

Documents