datastage 운영자지침서dbrang.tistory.com/attachment/490e862165… · ppt file · web...

미래신용정보 DW 프로젝트

DataStage 운영자 지침서 Operator’s Guide

작성일 : 2003/05/14

DataStage 운영자 지침서 .ppt2

미래신용정보 DW프로젝트

1. DataStage 의 home 디렉토리 ($dshome) 에 dsenv 파일이 존재한다 . vi로 수정할 수 있다 .

$dshome 은 install 시 DataStage Server 를 설치한 곳이다 . 일반적으로 root directory(/) 밑에서 cd `cat .dshome`( 숫자 1 왼쪽 옆에 있는 key) 을 입력하면 된다 .

3. DataStage 사용자 설명서

3.1 DataStage 환경 설정 dsenv : DataStage의 환경파일로써 , DataStage가 실행될 때 필요한 환경변수를 정의한다.



DataStageShell

DataStageUser Login

dsenv

DataStage커맨드

UnixShell

UnixUser Login

Unix커맨드

1. DataStage의 환경파일로써 , DataStage가 실행될 때 필요한 환경변수를 정의한다 . ① - 설치시 Default로 생성되는 내용이다 . 수정할 필요는 없다 . ② - Library Path 와 Path 를 정의하는 부분이다 . DataStage 의 Library 와 OS 의

Library를 같이 정의한다 . 설치시 Default로 생성되는 부분이다 . ③ - DBMS의 환경을 Setting한다 . DBMS user의 환경파일을 복사해서 사용한다 .2. 아래의 그림처럼 , 같은 user(ettuser)로 login하더라도 , unix로 직접 access하는

것과 DataStage를 통하여 access 하는 것은 서로 다른 shell 환경이므로 , dsenv 를 수정하여 같은 환경으로 만들어 줘야 한다 .

DataStageShell

DataStageUser Login

dsenv

DataStage커맨드

UnixShell

UnixUser Login

Unix커맨드

①

②

③



1. DataStage Administrator 를 실행 ( 반드시 root & dsadm user 로 login 할 것 .)하면 General 탭과 Projects 탭이 보여진다 . 존재하는 Project가 보여지고 , 왼쪽에 커맨드 버튼이 있다 . 여기서 원하는 Project 를 선택한 후 ‘ Properties’ 버튼을 클릭하고 Permissions 탭을 선택한다 . root user 가 아니면 , Properties 에 가서 user의 권한을 setting할 수 없다 .

* 다른 버튼에 대해서는 필히 교육받은 후 확인할 것 .

3.2 사용자 권한 설정

Project를 없애므로 주의 !

Administrator에서 뭔가 작업을 할려면 반드시 root 또는 dsadm User로 들어가야 한다 .

Project별로 각각 설정이 가능하므로 , 먼저 원하는 Project를 선택하자 .

반드시 root & dsadm 유저만이 할 수 있다 . 이것은 Re-Build Indexing이라는 DataStage 내부 Architecture와 관련 사항이므로 주의하자.

* DataStage가 Job과 JobID, JobName에 대한 연결고리를 가지게 되는데 , 이것을 저장하는 곳을 VOC라고 일컫게 된다 . Re-Build Indexing은 이 VOC 파일이 잘못되어 JobID를 못찾게 되거나 하는 경우 , 또는 RT_LOG, RT_CONFIG 등과 RT_BP 가 Match 되지 않을 경우 이것을 수정하는 역할을 수행하는 것을 말한다 . ( 필히 DataStage 기술지원팀과 상의하에 처리할 것 )



2. Permissons 탭을 클릭하면 user group이 보여지고 , 아래쪽 콤보박스에는 User Role이 보여진다 .

3. User role 은 DataStage Operator 와 DataStage Developer 두개가 있다 . 이 중 DataStage Developer 는 DataStage 의 모 든 Component(Administrator, Designer, Director, Manager) 를 사용할 수 있고 , DataStage Operator 는 오직 Director 만 사용할 수 있다 . Operator 가 다른 Component 에 login 할려고 하면 다음과 같은 오류 메시지가 발생한다 . Job을 운영시 발생하는 문제에 대해서 Operator가 처리할 수 있는 권한이 거의 없으므로 , Developer로 두는 것이 좋다 .

여기서 원하는 유저의 그룹을 선택한다 .

유저 그룹에 줄 권한을 선택한다 .



1. Director 에서 Job 메뉴를 선택하면 , 가운데 부분에서 Add To Schedule…/ Reschedule…/ Unschedule… 의 메뉴가 보인다 . 여기서 ‘ Add To Schedule…’ 를 제외한 다른 메뉴는 모두 이미 Scheduling 되어 있는 Job(Batch Job) 에 해당되는 메뉴이다 .

- ‘Add To Schedule…’는 선택된 Job을 새로 Scheduling하는 것을 말한다 . - ‘Reschedule…’는 선택된 Scheduling되어 있는 Job의 Schedule을 수정하는 것을

말한다 . - ‘Unschedule…’ 는 선택된 Scheduling 되어 있는 Job 을 Schedule 에서 제외하는

것을 말한다 . 실제로 Schedule과 관련된 Tool Bar는 다음과 같다 .

3.3 Job 관련 운영 (1) Sceduling Batch Job 또는 Job을 특별한 때에 자동으로 실행할 수 있게 스케쥴해두면 , 매번 직접

실행하는 수고를 덜 수 있다 .

이 버튼을 누르면 Director가 Schedule View 상태로 된다 .

Add To Schedule 버튼 . 이 버튼은 Director가 Status View 상태라도 활성화 되어 있다 .

이 버튼을 누르면 Director가 Status View 상태로 된다 .

Reschedule 버튼 . 반드시 Director가 Schedule View 상태일 때만 활성화된다 .

이 버튼을 누르면 Director가 Log View 상태로 된다 .


미래신용정보 DW프로젝트 2. Add To Schedule…과 Reschedule…은 같은 화면상에서 작업을 한다 . 먼저 , Run Job

그룹박스내부에서 Job 을 실행할 주기 Today/ Tomorrow/ Every/ Next/ Daily 중에서 하나를 선택한다 .

- ‘Today’는 Server의 일자로 오늘 현재를 , ‘Tomorrow’는 다음 일자를 말한다 . - ‘Every’는 매번을 의미하는데 , Day 그룹박스와 연관이 있다 . - ‘Next’는 다음번을 의미한다 . 역시 Day 그룹박스와 연관이 있다 . - ‘Daily’는 매일 작업을 의미한다 . Day 그룹박스에서 자동으로 모든 요일이 체크된다 . - 여기서 ‘ Daily’와 ‘ Every’를 제외한 나머지는 모두 1회성 스케쥴 옵션이다 .3. Unschedule…을 선택하면 확인 메시지가 나타나고 확인을 하면 스케쥴된 Job을 제외하게

된다 . 반드시 Director가 Schedule View 상태에서 실행가능하다 .4. Schedule 은 하나의 Job 에 대해 중복적으로 Add 할 수 있으므로 , 같은 Job 을 다른

시간대에 매일 실행하는 것이 가능하다 .

이들 주기중 하나를 선택한다 .

‘Every’나 ‘ Next’를 선택하면 요일과 일자중에서 선택할 수 있다 .

주기나 일자에 대한 선택외에 어느 시간에 실행할 것인지에 대해 선택한다 .

Unschedule…을 실행했을 때 나오는 확인 메시지 .

Director가 Status View 상태와 Schedule View 상태 , Log View 상태일 때 나오는 항목들이 다르다. Schedule View일 때 , Job Name과 주기 , 시간과 Parameter에 대한 값이 보여진다.



1. Director에서 Job 메뉴를 선택하면 , Run Now…/Stop의 메뉴가 보인다 . - ‘Run Now…’는 선택된 Job을 실행하는 것을 말한다 . - ‘Stop’은 현재 Running중인 Job을 강제적으로 멈추게하는 것을 말한다 . - 둘다 Director가 Status View 이거나 Log View 상태여야 한다 . 실제로 Run Job과 관련된 Tool Bar는 다음과 같다 .

(2) Run Job Batch Job 또는 Job을 실행하게 한다 .

Running 중인 Job을 선택하면 , 활성화되고 , 이 버튼을 누르면 Job을 중단시킨다 .

이 버튼을 누르면 Job을 Run 할 수 있다 .

Abort가 난 Job을 Reset 한다 .



2. Job을 Run하게 되면 Batch Job 생성에서 처럼 위와 같은 창이 열려서 , Job Running의 Limits 을 선택하게 된다 . 또한 , Parameter 가 있다면 Parameter를 입력받게 된다 .

3. Run Job 한 것을 Stop 하게 되면 다음과 같은 메시지를 출력한다 . DataStage 는 Running 중인 Job 을 종료시킬 때 , 강제적인 Kill 이 아니라 , 현재 메모리상에 존재하는 Process 의 Stop 을 Server 에 요청하게 된다 . 즉 , Stop 버튼을 누른다고 모두다 즉각적인 효력을 발휘하는 것은 아니고 일부 Job은 시간이 걸릴 수도 있다 .

데이터의 건수 Limit

Validate에 대해선 DataStage 교육 교재를 참고 .

Job의 Warning Limit

Job을 Run 시킨다 .

Stop을 실행했을 때 나오는 확인 메시지 .

Director가 Status View 상태일 때 , Job Name과 상태 , 시작 시간과 일자 , 그리고 이미 종료된 Job에 대해서 마지막으로 실행한 시간과 일자가 보여진다 .

이 버튼을 누르면 Running 중인 Job을 Stop할 수 있다 .

Parameter 입력부분 . Job에서 Default로 준 값이 보여진다 .



1. Job이 실행중이거나 , 실행되었거나 , 혹은 실행하기 전이라도 Tools의 New Monitor를 통하여 현재 상황을 볼 수 있다 . 만일 Job 이 실행중이라면 아래의 모니터링 화면상에서 Num rows 나 Rows/sec, Elapsed time 이 변하는 것을 볼 수 있고 , Job 이 실행되기 전이라면 모두 0으로 나올 것이다 . 실행이 끝난 Job은 마지막 상태를 보여준다 .

Stage Name, Stage의 상태 , Stage에 연결된 Link Name, Link의 Type을 보여준다 .Link Type중 ‘<<Pri’는 Primary Input을‘<Ref’는 Reference(Lookup)을‘>Out’은 Output을 나타낸다 .

‘Num rows’는 현재 처리하고 있는 데이터 건수를 ‘Started at’는 시작 시간을‘Elapsed time’은 경과 시간을‘Rows/sec’는 초당 처리건수를 나타낸다 .

‘Interval’은 모니터링을 하는 시간 간격을 나타낸다 . 이것을 수정하고 나서 ‘Save setting’에 체크가 되어 있으면 자동으로 변경한 값이 저장된다 .

(3) Monitoring Job의 현재 상황을 세부적으로 알 수 있다 .



(4) Reset Job 현상태의 Job을 Run이 가능한 상태로 만들어 준다 .

상태가 ‘ Has been reset’으로 되고 Run Now… 버튼이 활성화 되었다 .



(5) Delete Job 지금 선택한 Job이 어떤 이유로 인하여 지워야 할 필요가 있다 . 이때 만들어진 Job을

지워야 할 것이다 .

미리 Job 또는 Batch Job을 선택하고 이 메뉴를 선택하면 확인하는 Dialog Box가 나타난다 .

또한 , Manager에서도 Job이나 Batch Job을 삭제할 수 있다 . 원하는 Job을 선택하고 마우스 오른쪽 버튼을 눌러 Pop-Up 메뉴에서 선택하거나, Job 선택후 Delete 키를 누르면 된다 .



3.4 Log 관리 (1) View Log 실행한 Job의 수행 단계별 기록인 Log를 볼 수 있다 .

1. 실행이 끝난 Job에 대하여 Log를 확인할 수 있다 . Log View 버튼을 누르기 전에 먼저 Job을 선택해야 한다 .

2. Batch Job에서는 Job 자체의 Log가 남지 않고 , 전체적인 상황이 Log로 남으므로 , 먼저 Log 를 확인하고 이상이 발생한 Job 의 경우 , Status View 로 가서 그 Job 을 선택하고 다시 Log View 버튼을 눌러 Log를 확인한다 .

이 버튼을 눌러 Log를 확인한다 . Batch Job에서는 Job 자체의 Log는 보이지 않는다 .

Warning과 Fatal이 없다면 정상적인 작업이다 .



한 Log를 더블클릭하면 상세한 내용의 창이 뜬다 .

3. 이상이 발생한 경우에는 상황에 따라 처리한다 . Warning이라도 Validate시 발생했다면 정상일 수 있다 . 반면 Fatal일 경우에는 Log를 잘 파악해서 판단해야 한다 .



(2) Clear Log Log가 너무 많아지면 , Job의 수행에도 영향을 미칠 수 있다 . 많은 Log는 사용자가

Job의 Log를 확인하는데 시간을 지체하게 만들 수 있으며 , Project의 Disk Space도 많이 차지한다 .

1. Director 에서 Job 메뉴에 보면 Clear Log… 메뉴가 있다 . Director 에서는 Clear Log에 대한 작업을 하나의 Job에 대해서만 가능하다 . 따라서 , 먼저 Job을 선택하고 , Clear Log…메뉴를 클릭하면 어떤 작업을 할 것인지 물어온다 .

‘Immediate purge’는 즉각적인 Log 지우기이다 . 이것을 선택하면 , Immediate 그룹박스의 내용중 하나를 선택하게 된다 .

Job의 이름이 명시되어 있음을 유의하라 .

‘Clear all entries’는 이 Job의 모든 Log를 지운다 . 단 하나의 Log(즉 , 모든 Log를 지웠다는 Log)만 남게 된다 .‘Up to last run’은 마지막 실행되었던 Log이전의 모든 Log를 지운다 .‘Before date’는 입력된 일자 이전의 모든 Log를 지운다 .



2. Auto-purge 는 이후로 생성되는 Job 의 Log 에 대해 영향을 미친다 . 만일 다른 클라이언트에서 그 옵션을 바꿀 수 있다면 , 그 내용을 확인하는 기회를 자주 가지는 것이 좋을 것이다 . Auto-purge했을 때의 결과가 아래에 있다 .

‘Auto-purge’는 자동으로 Log를 지워준다 . 이때 , Auto-purge 그룹박스에서 선택한 옵션이 영향을 미친다 . Auto-purge한 내용은 Server에 셋팅되어 있지만 , 이 라디오버튼을 누르기 전에는 그 내용을 확신할 수 없다 . 결국 , 최초로 보여지는 Auto-purge 그룹박스의 내용은 자신의 클라이언트에서 마지막으로 봤을 때의 모습이다 .

‘Enabled for this job’는 이 Job에 대해 Auto-purge를 하겠다는 옵션이다 .‘Up to previous (job run)’은 선택한 숫자보다 전의 실행되었던 모든 Log를 지운다 .‘Older than (days)’는 입력된 일자 이전의 모든 Log를 지운다 .

Auto-purge는 Control이라는 Job 수행 단계가 지나야 실행된다 .

Auto-purge했다는 Log가 남았다 .



3.5 필터링 View Director의 View 메뉴에는 Filter Entries…라는 서브메뉴가 있다 . 이를 잘 활용하

면 , 많은 Job이나 Log에서 원하는 부분을 쉽게 선택해 볼 수 있다 .

1. Filter Entries… 는 Director 가 Status(Status 와 Schedule 은 같은 내용을 보여준다 .) View 상태인지 , Log View 상태인지에 따라 선택하는 내용이 틀리다 .

‘Include’는 포함할 내용 , ‘Exclude’는 배제할 내용을 말한다 .Jobs matching에 입력할 때는 ‘ *’를 쓰도록 권한다 . ‘*604*’라면 604 가 중간에 끼는 Job명은 모두 Include/Exclude 되게 된다 . 두개 이상의 조건은 지원하지 않는다 .

여기는 Job의 상태로 조건을 준다 .

Released에 대해서는 DataStage 교육 교재 참고


미래신용정보 DW프로젝트 2. Log에서의 Filter Entries…는 다음 그림과 같다 .

‘From’은 Log를 볼 첫 시점이고 , ‘Through’는 끝 시점이다 .

Log의 Type별로 체크해서 Warning만 본다든지 하는 일이 가능하다 .

Log를 볼 때의 개수 제한이다 . Last 100 이 디폴트 값이다 .

위에서 보이는 Limit의 옵션이 디폴트 값으로 되어 있고 , Log가 그 수를 초과했을 때 , Log View 상태로 가게 되면 나오는 메시지이다 .



3.6 작업 백업 (1) Export DataStage에서는 실제로 Backup을 받을만한 것은 Job 뿐이다 . Data는 Backup을

받을 필요가 없고 , Hash는 새로 생성하면 된다 . Log를 Backup 받을 수도 있을 것이다 .

1. Manager 에서 Export > DataStage Components… 메뉴를 선택하면 된다 . 선택된 항목이 Selection 으로 Export 창이 뜰것이다 . 이것은 Default 값으로 , 아무것도 선택하지 않을 순 없다 .

Job 뿐만 아니라 , 다른 MetaData도 Export할 수 있다 . Category 별로 가능하다 . Category가 없다면 , 각 항목별로 가능하다 .

원하는 Job을 선택할 수 있다 . 한 항목에 대해 복수선택은 불가능하므로 , 한번에 하나의 Job만 선택가능하다 .

한 Export File에 여러 개의 항목을 넣고 싶다면 , 기존에 존재하는 파일에 덧붙여쓰기 (여기를 체크 )를 권한다 .



Options 탭에서는 Category별로 할 것인지 , 항목별로 할 것인지 선택할 수 있다 . 또 , DataStage가 Default로 만들어주는 몇가지 기본적인 Read-Only MetaData를 Export할 수 있게 선택가능하다 . Default 값으로 두는 것이 유리하다 .

여길 클릭하여 Backup File을 둘 위치를 선택하자 . Backup File은 Client에 저장되므로 잊어버리지 않도록 주의 !

Project 전체에 대해 Backup을 받는다면 , 여길 클릭 .



1. Manager에서 Import > DataStage Components…메뉴를 선택하면 된다 . 다은과 같이 Import에 관련된 창이 뜬다 .

(2) Import DataStage에서 Backup받아 뒀던 내용을 다시 서버로 불러오는 작업이다 .

여길 눌러서 Import할 파일에 대해서 Browse해서 찾아보거나 위치와 파일을 직접 입력할 수 있다 .

Import all 은 그 Export했던 파일의 모든 내용을 가져오는 것이다 .Import selected는 Export했던 파일에서 필요한 것만 선택적으로 가져올 수 있다 .

이 옵션은 이미 존재하는 메타데이터가 있을 때 , overwrite 할 것인가 하는 질문을 던지는 것을 체크할 수 있다 .Default값은 그러한 질문없이 모두 overwrite하게 되어 있다 .



1. DataStage는 Job을 실행하거나 누군가 Open했을 때 , 누가 그 Job을 Monitoring하고 있을 때 , 그 Job에 대하여 Lock을 건다 .

2. Lock을 풀어야 한다고 생각해 볼 필요가 있을 때는 다음과 같다 . ① - Designer에서 어떤 Job을 Open하는 데 , 실제로 그 Job이 Running중이거나 ,

다른 누군가 사용하지 않는데 ‘누군가 사용중이다’라는 메시지가 나올 경우 . Client 로 접속했다가 , Client가 비정상 종료 (Windows Error)되었을 때도 발생할 수 있다 .

② - Job이 아래 3 번의 방법으로 확인했을 때 , 실행중이지 않는데도 Director에서 그 Job 이 Running 중인 것으로 나오는 경우 . 누군가에 의해 비정상적으로 Job 이 종료되었을 때 발생할 수 있다 .

3. Server에서 ‘ ps –ef | grep uv’를 실행하여 , DataStage 작업이 있는지 확인한다 . ‘unirpcd’, ‘uvdlockd –config’, ‘uv’ 이 세가지는 DataStage 구동의 필수 데몬들이다 . 이들외에 다른 항목이 나온다면 ( 물론 , grep uv 는 제외하고 ), 실제로 누군가 실행하는 작업이 있다는 것이다 . 아무것도 없고 , 여전히 Lock이 걸렸다면 , ‘ps –ef | grep phan’ 으로 확인해 본다 . 만일 ‘ grep phan’ 했을 경우 항목이 나온다면(grep phan 제외 ), 실제로 After-Job Subroutine 같은 것을 실행하고 있을 경우처럼 , DataStage가 메모리상에서 무언가 작업을 하고 있을 경우이다 .

3.7 문제 해결 (1) Job Un-Lock 운영중 Job이 Lock 걸릴 경우가 있다 . 다른 어떤 클라이언트에서 사용하지도 않는데 ,

누군가 작동중이라고 나오는 경우 , Lock이 걸렸다고 보고 , 그것을 풀어줘야 한다 .

세개의 Daemon외에 다른 것이 있다면 DataStage가 작업중이라는 뜻이다 .

4. DataStage가 무슨 작업을 한다 하더라도 , 그 Job을 멈출 필요가 있을 때가 있다 . 이럴 때는 Director에서 먼저 Job을 Stop 시키자 . 만일 그렇게 했는데도 안된다면 , Job의 PID를 가지고 Kill 하는 수 밖에 없다 . ‘ps –ef | grep uv’를 통해 Job을 확인하고 , ‘kill –9 JobPID’ 로 Job 을 중단하자 . 이렇게 강제로 중단시킨 경우 , 십중팔구는 Job의 Status 가 변경되지 않고 남아있을 가능성이 있다 . 이때는 Director의 Job > Clear Status File로 해결할 수 있다 .

현재 Running중인 Job을 알 수 있다 .


미래신용정보 DW프로젝트 5. 하지만 , 그렇게 강제로 종료시킨 경우가 아닌데도 Job의 Status가 이상하고 , 여전히

Job 이 Lock 이 걸려있다면 , 다음과 같은 방법을 쓰자 . Director의 Job > Cleanup Resources 를 선택하여 Job 이 Lock 걸려있음을 확인하고 , 그 Job 을 ‘ Release’시킨다 .

우리가 원하는 것은 바로 이 PID이다 .

우선 원하는 항목을 선택하고 이 Release All 버튼을 클릭 .

이것은 많은 시간을 필요로 할 때도 있다 .

Cleanup Resources나 Clear Status File이 Director에서 가능하게 할려면 , Administrator의 여기가 체크되어 있어야 한다 .



6. 또는 Server 상에서 , 다음처럼 실행하자 .

. ./dsenv는 DataStage User가 아닌 경우 , DataStage의 UV Shell을 이용할 수 있게 해준다 .

Default로 UV Shell은 대문자로 나온다 . UV Shell은 SQL*Plus와 같다고 생각하면 된다 . 먼저 해당되는 Project에 login하고 운영자 TOOL을 기동한다 .

5번이 Lock 걸린 Job을 Un-Lock할 수 있는 메뉴를 제공한다 .

여기서는 Esc키로 빠져나온다 .



4 번을 입력하면 현재 Lock이 걸린 Job들이 보인다 . 여기서 Job의 PID를 기억하도록 하자 .

7번을 입력하면 Job의 PID를 물어온다 . 기억했던 PID를 입력하고 Enter 키를 입력하면 된다 .



Job의 Lock을 풀고 UV Shell에서 빠져 나갈 때는 번호를 묻는 Prompt상에서는 Enter만 입력하면 된다 . 그리고 ‘ >’ 이 Prompt가 나올 때 , ‘Q’를 입력하면 된다 .

datastage 운영자지침서dbrang.tistory.com/attachment/490e862165… · ppt file · web...

Documents