new host gpnr control y monitoreo

NEW HOST GPNRControl y Monitoreo

Mayo 2012

2

Inicio Presentación

Contexto General

Modelo de Datos

Funcionamiento

3

Descripción del ProcesoEn el contexto de los requerimientos técnicos de GPNR, se desarrollará esta funcionalidad con el fin de disponer de una herramienta que permita orquestar los procesos funcionales de GPNR (Proceso de Carga Diaria –o carga normal- y Proceso de Control de históricos) monitorearles el avance y proporcionales una recuperación “eficiente” en caso de falla y/o caída.

Contexto General

Nombre del Proyecto New Host Gestión PNR V2

Patrocinador Daniela Baytelman

Líder de Frente Sergio Soza

Usuario Líder Jorge Mendoza

Jefe del Proyecto LAN Cristián Abaroa

Jefe de Proyecto Focus

Gastón Navea

4

Modelo de Datos CyM

5

Funcionalidades de la Shell:

Valida los ambientes necesarios para la ejecución del proceso actual.

◦ REVISION UPTIME DE MAQUINAS: Según una lista predefinida de maquinas que usa el proceso, realiza un ping a estas esperando respuesta.

◦ REVISION UPTIME BASE DATOS: Realiza una query dummy a las Bases de Datos predefinidas para el proceso en ejecución.

◦ REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE: Realiza una revisión del espacio disponible en la maquina, el espacio necesario es, al menos, 10% del total del disco.

◦ REVISION UPTIME DE SERVICIO DE DATASTAGE: Realiza una revision del servicio de DataStage para la ejecución.

SHELL_PROC_CONTROL_GPNR.sh

6


Cierra y marca como erróneas (Estado ‘ER’) en las tablas de control los registros que no tengan fecha fin.

◦ Al hacer esto, cualquier proceso, etapa o actividad que haya quedado inconclusa debido a cualquier motivo (sin fecha fin) quedará marcada como errónea (Estado ER). Esto va a ser revisado mas adelante para validar si se necesita realizar una recuperación del proceso.


7


Lee las tablas de control para verificar si el ultimo proceso ejecutado, para el tipo de proceso actual, fue exitoso (estado ‘EX’), de lo contrario, genera una recuperación.

◦ Al validar el estado de la ultima etapa ejecutada en el proceso anterior se puede verificar si esta finalizó correctamente o no.

◦ Si la ejecución anterior fue exitosa (Estado EX), continúa con la ejecución de un proceso nuevo.

◦ Si la ejecución anterior no fue exitosa (Estado ER), la shell de control obtiene la secuencia de la ultima etapa que sí fue exitosa y realiza una ejecución de “Ultima Secuencia Exitosa + 1”.


8


Validación de existencia de archivos en carpeta DAT.

◦ La shell realiza una validación de existencia de los archivos CDD dentro de la carpeta DAT (ruta actual: /dsdata/DSNHGPNR/DAT/CARGADIARIA).


9


Ejecuta las etapas del proceso actual definidas en los dsConfigLocal de cada uno de ellos.◦ En los archivos de configuración de cada Tipo de Proceso se encuentran definidas las etapas de

cada uno de ellos, ejemplo de Carga Diaria:

NUM_JOB_ETAPA=11; JOB_ETAPA_[1]="SQ00_VALIDACION"; JOB_ETAPA_[2]="SQ00_EXTRACCION"; JOB_ETAPA_[3]="SQ00_INTEGRIDAD"; JOB_ETAPA_[4]="SQ00_TRANSFORMACION"; JOB_ETAPA_[5]="SQ00_CARGA_INTERMEDIA"; JOB_ETAPA_[6]="SQ00_CALCULOSCOMPLEJOS"; JOB_ETAPA_[7]="SQ00_CARGA_COMPLEJOS"; JOB_ETAPA_[8]="SH000_ETP8_VIGENCIA.sh"; JOB_ETAPA_[9]="SH_EJECUTA_CARGA_FINAL.sh"; JOB_ETAPA_[10]="SH000_ETP10_DERIVADAS.sh"; JOB_ETAPA_[11]="SH000_ETP11_TERMINO_PROCESO.sh";


10

Control y Monitoreo tiene una parte de su funcionalidad dentro de DataStage, las cuales son:

Actualizar finalización de etapas: Actualiza el estado de la etapa (Estado EX) solo si terminó correctamente. Si hubiera terminado con error, la shell se encarga de obtener el estado y marcar como erróneo.

Control y Monitoreo (DataStage)

11


Crear registro de actividad: El job genera un registro en la tabla de Actividades del modelo de Control, esperando para ser actualizado al fin de esta.


12


Actualizar finalización de actividad: Actualiza el estado de la actividad (Estado EX-ER), actualiza la cantidad de registros procesados e inserta la fecha-hora fin de la actividad.


new host gpnr control y monitoreo

Documents