control-m forecast – simulation mit periodic statistics · control-m forecast kopiert voll...
TRANSCRIPT
© ATICS GmbH 2014
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
1
Holger [email protected]
Control-M Forecast –
Simulation mit Periodic Statistics
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
2
Problemstellung
Unterschiedliche Joblaufzeiten bei täglichem, wöchentlichemund monatlichem Lauf erschweren die Laufzeitanalyse und –prognose
Unterschiedliche Jobnamen für Tages-/Wochen-/Monatsverarbeitung sind nicht erwünscht
Erschwert Wartbarkeit der Jobs und Abläufe
Control-M Forecast ist zwar installiert, wird aber außer derFunktion „View Schedule“ nicht (optimal) genutzt
z/OS Scheduling Tables werden nicht im Control-M EMDesktop gepflegt, somit ist ein Control-M Forecast für z/OSJobs nicht möglich
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
3
Projektziel
Projekt wurde im Januar 2014 aufgesetzt mit den Zielen:
Lauffähige Simulationsumgebung im Testumfeld aufbauen
Aufbau von Testabläufen mit z/OS und DS Jobs, mitunterschiedlichen Laufzeiten zu unterschiedlichen Terminen, z.B.täglich und am Ultimo.
Aufbau von periodischen Statistikkalendern basierend desLauftages z.B. täglich, wöchentlich, Ultimo, etc. für diese Jobs
Forecast Umgebung korrekt parametrisieren
BMC Forecast online und im Batch testen bzgl. der Testabläufe
Auswertungsmöglichkeiten testen, Reportgenerierung
Einsatz der ATICSTOOLS für das (regelmäßige) „Urladen“ derz/OS Scheduling Tables in Control-M EM Server
Dadurch profitiert noch ein anderes, parallel laufendes Projekt„Control-M Change Management“, die mit der Aktualität der z/OSScheduling Tables im COntrol-M EM „Probleme“ haben
Projektende April 2014
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
4
Kunde
Aktuell 3. größte Bank Deutschlands nach Bilanzsumme
Sitz in Frankfurt/Main
Setzt Control-M z/OS und Control-M DS jeweils Release 7 ein
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
5
Grundsätzliches zu Control-M Forecast
Mit Control-M Forecast ist es möglich, z.B.:
Einen Tagesplan grafisch als Netzplan, als Gantt-Diagramm oderals Liste in der Zukunft anzusehen
Engstellen schon vor dem Auftreten festzustellen oderOptimierungen zu testen, beispielsweise durch
(zeitliches) Simulieren von fehlenden Conditions
Zu langer Job Laufzeiten
Herunter-/Hochsetzen von Quantitativen Ressourcen
Zeitliche Auswirkungen von Jobabbrüchen darzustellen
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
6
Darstellungsmöglichkeiten
Netzplan
Gantt-Diagramm
Liste
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
7
Laufzeit-Statistik
Control-M Forecast kopiert voll automatisch bei jedemTageswechsel für jedes im Control-M EM Serverangebundene Control-M die Laufzeit-Statistikdaten inseparate Datenbanktabellen.
Dadurch besteht die Möglichkeit, auch erweiterteLaufzeitanalysen durchzuführen als nur basierend auf den letzten20 Jobläufen (Default).
Zusätzlich besteht die Möglichkeit über sogenannte „Peridocstatical calendars“ Laufzeitverhalten und –unterschiede in denForecast mit einlaufen zu lassen. Für die Nutzung dieserMöglichkeit sind vorbereitende Arbeiten notwendig
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
8
Richtige Konfiguration des Control-M Forecast
„User Daily Definition“ hat zweiverschiedene Funktionen, abhängigauch von Control-M z/OS oderControl-M DS. Der User Daily„SYSTEM“ wird automatisch für alleangebundenden Control-Ms eingestelltund deren definierten Order Time ausden Systeminformationen derentsprechenden Control-M EMGateways übernommen. DieseUhrzeit ist der Startzeitpunkt, mitdem Control-M Forecast rechnet!
Die Order Time lässt sich hier nichtändern, nur in den entsprechendenControl-M Systemparametern!
Der User Daily „SYSTEM“ beiControl-M z/OS ist hier nur einSynonym für den Control-M z/OSJob DAILYPRD (oderentsprechend)!
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
9
Zuordnung Userdaily Tables z/OS
Um eine ähnliche User Daily Zuordnung von Control-M z/OSTables für Control-M Forecast zu erreichen, müssen dieseTables hier über die User Daily Definition manuell zugeordnetwerden.
Die Vorgehensweise ist folgendermaßen:
Control-M EM Desktop => Tools => Forecast Configuration
Selektion des User Daily SYSTEM in der User Daily Definition
Anklicken des „EDIT-Buttons“ oder Doppelklick auf dieAuswahlzeile
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
10
Zuordnung Userdaily Tables z/OS
Selektion derentsprechenden Tablesunter „All Tables“ und„kopieren“ dieser über „>“nach „Selected Tables“.
Über die STRG-Tastekönnen mehrere Tablesselektiert werden!
Dies muss entsprechendfür ALLE „User Daily“ imz/OS gemacht werden!
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
11
Ausblick automatische Zuordnung von z/OSTables zum einem User Daily
Es gibt eine Möglichkeit, dieses für z/OS ähnlich wie imControl-M DS zu „erweitern“. Eine Beschreibung findet man inder BMC Knowledge Base unter CAR00043162. DieseErweiterung entspricht dann dem Verfahren im IOA 8.
Die Vorgehensweise würde aber den KOMPLETTENTagewechselablauf im Control-M z/OS umstellen und esmüssen diverse APARS vorab im Control-M z/OSeingespielt werden.
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
12
Periodic Statistic Calendars
Um das Laufzeitverhalten eines Jobs abhängig von seinemVerarbeitungstag, z.B. längere Laufzeiten bei einem Ultimo,simulieren und auswerten zu können, müssen vorabsogenannte „Periodic statistical calendars“ (PSC)eingerichtet werden.
Diese „Kalender“ entsprechen im Prinzip einem „PeriodischenKalender“ im Control-M. D.h., bei diesen Kalender werdenArbeitstage nicht per Y/N definiert, sondern über sogenanntePerioden, die A-Z oder 0-9 heißen können.
Die Besonderheit hier ist, dass diese Kalender nur im Control-M EM Server gespeichert werden müssen, da sie nur für denControl-M Forecast gelten!
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
13
Anlegen eines „Periodic statistical calendars“
Die Einrichtung eines PSCs erfolgt über den Control-M EMDesktop. Dafür muss wie erwähnt zuerst ein „PeriodischeKalender“ definiert werden. Dies erfolgt über Tools =>Calendar Manager.
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
14
Festlegen der Perioden
Danach können dann die entsprechenden Tage mit einemPeriodennamen (Periods) definiert werden. Hier in demBeispiel wurden 2 Perioden definiert:
Für Mo – Fr die Periode „T“
Jeder 2. (Arbeits-)Tag im Monat die Periode „M“
Dieser Kalender MUSS NICHT per Upload in das entsprechendeControl-M geladen werden!!
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
15
Aktivierung des PSCs
Damit ein definierter Periodische Kalender als PSC genutztwerden kann, muss dieser über den Periodic StatisticsManager entsprechend aktiviert werden. Dies geschieht imControl-M EM Desktop über Tools => Periodic StatisticsManager.
Die Daten werden dann ab dem nächsten Tageswechselentsprechend gesammelt.
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
16
PSC Filter
Hier werden Filterdefinitionen (PSC Filter) angelegt, u.a. fürwelchen Tables/Jobs oder Applikationsnamen der PSC dieStatistik sammeln soll.
Die Reihenfolge der PSC Filter ist wichtig: Entsprechend derdefinierten Reihenfolge werden die Statistischen Daten fürTables/Jobs anhand der Filter generiert.
D.h., sollte ein Table/Job durch mehrere PSC Filternangesprochen werden, so wird nur beim erstenzutreffenden Filter die Daten gespeichert!
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
17
PSC Filter definieren
Im Periodic Statistical Definition Fenster können fürbestimmte Control-M Tables-/Jobfelder Auswahlkriteriendefiniert werden:
Name Auswahlname, den manspäter selektieren kann
Description Eine kurz Beschreibung
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
18
Period Type
Statistics collectedaccording to the periodsin the calendar
Wenn aktiv, werden anhand desausgewählten „Periodic calendars“ dieStatistik gesammelt
Statistic collectdaccording to a perioddefined by conditionprefix
?
Job FilterHier können Regular Expressions benutzt werden: *, ?, [ ], !
Control-M Auswahl des entsprechenden Control-M Server. Durch Komma getrenntkönnen mehrere angegeben werden
Table Defintion der zu berücksichtigenTablename
Table Nur z/OS: PDS-Name der Tables
Application Defintion der zu berücksichtigenApplication-Namen aus denTablesn/Jobs
Group Defintion der zu berücksichtigenGroup-Namen aus den Tablesn/Jobs
Job Name / Mem Name Defintion der zu berücksichtigen Jobs
Path / Mem Lib Skript Pfade oder PDS-Namen
Node / Group ID Defintion der zu berücksichtigenControl-M Agenten oder Nodegroups(nur DS)
PSC Filter definieren
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
19
Änderung der Statistik-Ansicht
Die Darstellung der Statistikändert sich dann auchentsprechend. Sobald füreinen Job/Table über einenPSC Daten gesammeltwerden, werden auch nurnoch die Statistiksätze ausdem PSC in der Control-MEM GUI angezeigt.
Standard
PSC
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
20
Beispiel PSC Filter
Hier ein Beispiel füreinen PSC Filter, derfür alle Jobs imDatacenter OS390 undUNIX_NT anhand desPSC„PERIODIC_STATISTICAL_MASTER“ für alleJobs, die mit demApplikationsnamen„SUMMIT*“ laufen,sammeln soll.
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
21
„What-If“ Szenario
In allen „What If“ Szenarien des Control-M Forecast kannman über „Advanced“ diese PSCs mitberücksichtigt
Man kann dabei eine oder mehrere Periode per Kommagetrennt dabei angeben
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
22
Beispiel
Der Table ATICS_FORECAST_TEST hat unterschiedlicheLaufzeiten im täglichen Ablauf und am Ultimo. Es soll nunsimuliert werden, wie sich das Laufzeitverhalten bei einerErhöhung um 20% bei der täglichen und Ultimo verarbeitungauswirkt.
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
23
Beispiel
Definition des „What-If“ Szenarios für die tägliche Laufzeit mitdem PSC FORECAST_PERIODIC und dessen Periode D
Eine Erhöhung der Laufzeiten ist hier nicht ersichtlich:Normale Laufzeiten Lauzeiten + 20%
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
24
Beispiel
Das selbe „What-If“ Szenario nun für den monatlichen Lauf.Dafür wird aus dem PSC FORECAST_PERIODIC diePeriode M ausgewählt, die die Daten nur für den Ultimolaufberücksichtigt.
Hier ergeben sich bei den einzelnen Jobs längere Laufzeiten:Normale Laufzeiten Lauzeiten + 20%
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
25
Forecast im Batch
Control-M Forecast kann auch als Batchjob ausgeführtwerden, wobei die Ausgabe hier nur als CSV-Datei erfolgt.Diese kann dann z.B. in Excel oder in eine Datenbankimportiert und ausgewertet werden.
em forecastcli -u <user> [[-p <password>] | -pf<password_file>] -s <server_name>
-odate [YYYYMMDD|+n] [Filter] [-scenario<name>] [-run_time [Min|Avg|Max]]
-job_info_file <file_name> [-service_info_file<file_name>] [-hide_times]
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
26
Filter (optional)
Über die Option “Filter” kann die Auswahl für den Forecasteingeschränkt werden. Auch hier können die vorherbeschriebenen Sonder-/Ersetzungszeichen angewandtwerden.
-dc_name <name> Control-M EM Datacenter Name
-table_name <name> Table Name
-appl_name <name> Applikationsname
-grp_name <name> Gruppen Name
-mem_lib <name> JCL PDS/Skript Pfad Name
-job_name <name> Job Namen
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
27
Beispiel
Es soll ein Forecast 5 Tage in die Zukunft für alle Tables“MAINDAY” aller Control-M Server im Control-M EM ENTWdurchgeführt werden ($1 wird über Autoedit berechnet:%%$CALCDATE %%$ODATE +5).
em forecastcli -pf $HOME/.pfile -s ctmentw -odate $1 -table_name "MAINDAY" -job_info_file/tmp/MAINDAY.csv
Jobprotokoll:
Using SSL
Services Information for date '20140405':
Business Services:
* Late Services 0
* Completed on time 0
* Deadline out of forecast 0
Jobs:
* Not Running 0
* Ended OK 35
* Running 0
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
28
Beispiel Ergebnis
Anschliessend kann die ausgegebene Datei z.B. in MS Excelimportiert werden für eine weitere Analyse oder für einespezielle Sortierung.
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
29
ATICSTOOLS: „Urladen der z/OS Tables“
Mit Hilfe der schon lange existierenden ATICSTOOLSATRX001 für z/OS und ATEM007 für Windows/xNIX kann einsogenanntes „Urladen“, d.h. Laden aller z/OS SchedulingTables, erfolgen, wenn man will täglich
ATRX001 DD SYSIN-Beschreibung
USERDAILY Angabe eines Userdaily-Namens.Dieser erscheint dann im Control-M EM Table-Manager (kannmehrfach angegeben werden)
EINGABE PDS-Name der z/OS Scheduling Tabellen (kann mehrfachangegeben werden)
MEMBER Zulässige Auswahl (kann mehrfach angegeben werden)
* Alles übernehmen
A* Nur Member, die mit A beginnen (kann mehrfachangegeben werden)
ABC Absolute Angabe (kann mehrfach angegeben werden)
A*Z Nur Member, die mit A beginnen und mit Z enden (kannmehrfach angegeben werden)
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
30
ATICSTOOLS
Ablaufplan
ATRX001J: Dieser führt dasREXX Programm aus.
ATRX001_Transfer: Holt perControl-M for AFT die Dateivon Host ab und speichertdiese auf dem Server
ATEM007: Führt denDownload der Tables durch
ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein
Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de
© ATICS GmbH 2014
31
Vielen Dank für Ihre Aufmerksamkeit!