visual tom chez ca cheuvreux - vito.absyss.frvito.absyss.fr/docs/implementation de visual tom pour...
TRANSCRIPT
www.cheuvreux.com
Thierry SILSKI
Visual TOM chez CA CheuvreuxImplémentation de Visual TOM pour Infocentre
Jeudi 17 juin 2010
Presentation TitlePage 2
Plan de la présentation
Présentation de CA Cheuvreux
Qui sommes nous
Notre métier
L’informatique de CA CHEUVREUX
L ’équipe en charge de Visual TOM
Equipe
Missions
Environnement Technique
L’existant avant Visual TOM
Outils et commandes
Objectifs et bénéfices
Besoins et contraintes
Plan de la présentation
Visual TOM
Périmètre initial
Démarche de choix de l’ordonnanceur
Architecture Visual TOM choisie
Principes majeurs retenus
L’avenir
Fin de la présentation : Questions
Page 4
CA CheuvreuxCourtier leader sur actions européennes
Presentation TitlePage 5
Qui sommes nous ?
Filiale à 100 % de Crédit Agricole CIB, CA Cheuvreux est le courtier européen du groupe
Crédit Agricole, au service des institutionnels, des corporates et des réseaux de particuliers.
Crédit Agricole est le 3ème groupe bancaire européen et le 9ème mondial en terme de Tiers-1 Capital(the Banker, July 2009)
New York
Francfort
Stockholm
Athènes
ParisZurich
Milan
Dubaï Taipei
Manille
Jakarta
Singapou
r
Kuala Lumpur
Mumbai
Bangkok
Hong Kong
Beijing
Shanghai
Tokyo
Istanbul
Vienne
San Francisco
AmsterdamLondres
Sydney(GED)
Madrid
Notre métier
CA Cheuvreux, CLSA et CSI offrent une gamme complète de services de courtage sur les valeurs européennes, asiatiques et américaines
GED est le département « produits dérivés actions » de Crédit Agricole CIB, actif dans les produits Delta One, les convertibles, les trackers, les dérivés de fonds et les produits exotiques.
La ligne d’activité EBD (Equity, Brokerage & Derivatives) comprend 2 200 professionnels présents dans 26 bureaux
CA Cheuvreux, courtier européen sur actions, propose des services de recherche(analyse financière, économie et stratégie), de vente et d’exécution à une clientèlefrançaise et internationale d’investisseurs institutionnels, de corporates et de réseauxde particuliers.
Avec 15 bureaux et des équipes actives sur 60 marchés en Europe, aux États-Unis, auMoyen-Orient et en Asie, CA Cheuvreux renforce le développement de ses services etde sa couverture géographique, afin d’offrir à ses clients de nouvelles solutionsperformantes et adaptées aux évolutions du marché.
L’informatique de CA CHEUVREUX
Un service développement couvrant l’ensemble des métiers internes de l’entreprise (Infocentre,
FrontOffice, middle office, backoffice, etc).
Une exploitation regroupant 50 personnes ventilées dans les domaines NT-NOVEL (Client et
serveur), Notes, DBA , Réseaux, Opérations (NT / LINUX / SOLARIS)
Directeur Informatique
Responsable
production
Responsable DSI
DBA
Middle Backoffice
EBS
Reseau
Etc ...
Etc..
www.cheuvreux.com
L’équipe en charge de Visual TOM
L’équipe en charge de Visual TOM
Equipe
Equipe DBA attachée à l’exploitation, seule compétente pour tous les serveurs de bases dedonnées, quel que soit le fournisseur.
Equipe constituée de 4 Personnes (1 Architecte + 3 DBA Sénior), avec des profils SYBASE à80% et MS-SQL Serveurs à 20% + connaissances sur ORACLE.
Missions
Assistance aux équipes développement, de monitoring des instances des serveurs de basesde données et de la réplication entre eux.
Mise en production des nouvelles applications (partie BDD) ou modification des applicationsdéjà en place.
Installation des nouveaux serveurs de bases de données et de leurs suivi (volumétrie, tempsd’accès , audit, …)
Particularité des missions : Mises en production quotidiennes (créneaux spécifiquementréservés, : 7h/20H Procédures stockées, 18/20H Mise en production de tables avec un tempsd’indisponibilité de 45 mn maximum, au delà MEP de WE.), suivi particulier et relance destraitements infocentre liés aux serveurs de bases de données (gestion des batch par VisualTOM) ; cette mission impose l’utilisation d’un ordonnanceur
L’équipe en charge de Visual TOM
Environnement technique
Environ 30 To de bases de données. Celles-ci regroupent toute les traces d’activité du trading
(FrontOffice) ainsi que middle et backoffice,
Bases de données : 60 serveurs SYBASE, 20 serveurs MS SQL Serveur, 5 Serveurs
ORACLE, 1 Serveur SYBASE IQ, répartis sur un site primaire et un site de backup.
Réplication hétérogène temps réel entre les serveurs (par Réplication Server de SYBASE).
www.cheuvreux.com
L’existant avant Visual TOM
Outils et commandes
Avant le choix d’un ordonnanceur, tous les travaux étaient lancés par crontab ; avec la venue de
LANCE_BATCH (programme créé en interne), seuls les traitements nécessitant la prise en compte
de contraintes autres qu’horaires ont été migrés sous celui-ci.
Le Script LANCE_BATCH s’appuie sur un SGBDR et la lecture des crontab où se trouvent les
traitements.
Le programme atteignait ses limites et ne pouvait satisfaire tous les besoins qui allaient
grandissants (planification complexe de type : 1er jour ouvré du mois, synchronisations sur la
terminaison correcte de plusieurs travaux…)
Un outil professionnel spécialisé devenait nécessaire..
Objectifs et bénéfices
Transition douce vers le nouvel outil
Interface graphique indispensable pour la lisibilité
Faible charge induite par le produit
Rapidité de réaction en cas de problème sur la production
Mise à disposition d’IHM pour nos clients pour le suivi de leur exploitation
Souplesse d’utilisation
IHM facilement compréhensible.
Besoins et contraintes
Nos utilisateurs souhaitaient conserver le système actuel et donc ne pas changer leurs habitudes detravail.
Contrainte fonctionnelle : l’infocentre travaille sur les données du jour ouvré qui précède le jourcourant.
Le calendrier Cheuvreux, basé sur les jours d’ouverture des bourses (à quelques exceptions près,proche du 7/7) doit être pris en compte nativement.
Certains jobs doivent s’exécuter à des jours précis qui ne seront connus qu’au début de l’année encours (Traitement PNB).
En cas de dérive d’exécution d’un traitement et/ou de retard, une alerte doit être émise.
L’infocentre est constitué de deux serveurs de bases de données avec des fonctions distinctes ; unesaturation potentielle peut aboutir à leur « arrêt/redémarrage ». La notion de charge de travail doitêtre prise en compte dans les contraintes d’exécution (ressources Visual TOM)
Les mises en exploitation des travaux ne doivent pas être effectuées par les équipes dedéveloppement (dont l’infocentre fait partie), mais par l’exploitation uniquement.
Un batch doit pouvoir se lancer indifféremment de la machine (quelle que soit la version d’Unix).
www.cheuvreux.com
Visual TOM
Visual TOM
Périmètre initial
Démarche de choix de l’ordonnanceur
Architecture Visual TOM choisie
Principes majeurs retenus
Périmètre initial
Périmètre initial :
Périmètre de fonctionnement : Rapport et document infocentre
Système actuel : crontab + programme interne LANCE_BATCH
Nombre de serveurs : 5
Type de serveurs : Linux, Solaris et Windows
Type de batch : scripts shell
Outils à intégrer : aucun
Très peu de contraintes
Nombre de batchs estimé : 400
Type de production : non critique, régulière avec activité ciblée
Démarche de choix de l’ordonnanceur
Solutions étudiées
$Universe
Visual TOM
BMC Control-M
Principaux critères de choix
Adéquation aux besoins et contraintes fonctionnelles.
Budget limité.
Adéquation technique multiplateforme NT-Novell/Solaris/Linux.
Interface utilisateur entièrement graphique.
Facilité d’utilisation et de mise en œuvre..
Choix de l’outil sur « Proof of Concept ».
Résultat
De ces 3 produits, seul Visual TOM répondait à tous nos critères.
Nous disposions d’une version de test pour monter un prototype opérationnel,
Nous pouvions réellement qualifier l’ergonomie du produit.
Architecture Visual TOM choisie
La solution en place s’appuie sur une version Visual TOM 5.2.2 (version 5.1.1 installée initialement)
Le serveur Visual TOM est installé sur une machine linux ReadHat 4, le répertoire est mirroré en
temps réel vers le site de backup, ce qui permet une bascule rapide en cas de défaillance.
5 clients sont installés
1 NT
2 Linux et 2 Solaris (les 2 Solaris sont en cours de migration vers Linux)
12 Utilisateurs de la DSI disposent de la console Visual TOM en mode visualisation (aucune mise à
jour ou action de pilotage)
Grâce à la version 5.2.2, nous avons pu mettre en place un profil lecture seule, ce qui plait beaucoup à nos
utilisateurs. Très utile dans le cas d’un nouveau batch mis en place, car cela leur permet de voir en temps réel
ce qui se passe et d’accéder aux logs et statistiques des traitements.
Principes majeurs retenus
Règles et contrôles
Plusieurs échanges avec le support ainsi que l’IT venu pour l’installation et la formation sur VisualTOM nous ont permis de mieux appréhender nos besoins.
il en est ressorti ce qui suit :
Compatibilité avec existant : les jobs appelleront une version édulcorée de LANCE_BATCH (LANCE_LB) quipermet de garder la mise à jours des pages PHP.
Pour garantir que les traitements s’effectueront bien par rapport à un jour ouvré, il s’exécuteront en décalagede 24 heures par rapport au jour J (date d’exploitation).
Ainsi, si lundi est un jour ouvré les traitements commenceront à partir de 0h30 le mardi (en raison de la fermeturede NY), et ainsi de suite…
Mise en place de règle sur la gestion des dates d’exploitation pour éviter les blocages programmés deproduction
En cas d’attente inter-environnement, utilisation d’un job d’attente d’événement basé sur l’ancien système(table d’événements).
Principes majeurs retenus
Règles et contrôles
Les statistiques des environnements sont extraites et mises en bases chaque jour, ceci afin decalculer les dérives éventuelles. Ces dérives sont intégrées aux mails de suivi d’exploitation dansune rubrique à part.
Ceci nous permet de donner accès à des graphiques de suivi à partir des extractions des statistiques au jour lejour.
En cas de retard d’un job (temps de début dépassé depuis N heures), un mail de suivi est envoyé.
ceci est très utile en cas de problème sur un traitement précédent, temps d’exécution trop long par exemple.
Une crontab sous le user Visual TOM contient tous les scripts de surveillance et de remontées desstatistiques.
La partie surveillance et monitoring de Visual TOM ne peut être confiée à lui-même, c’est pourquoi des scriptsde surveillance des bdeamon, d’extraction des statistiques et autres sont mises sous la crontab de l’utilisateurVisual Tom.
Pour la partie surveillance des processus, nous utilisons le programme ITRS.
A la notion de calendrier global (cheuvreux7_7) dont les jours fériés ne sont pas connus à l’avance(diffusion par Euronext et Nyse en début d’année) est venu s’ajouter un calendrier spécifique à unechaîne de traitements PNB. Celui-ci sera mis à jour au début de chaque année avec lesinformations données par la DSI infocentre.
Principes majeurs retenus
ITRS surveille que les processus Bdaemon/vtserver etc.. sont opérationnels.
Surveillance
Principes majeurs retenus
Page PHP de suivi des temps des jobs
Monitoring
Principes majeurs retenus
Exemple de mail de remontées à destination de la DSI infocentre
Suivi et remontée d’informations
Principes majeurs retenus
Référentiel Visual TOM
4 environnements existent : Divers (regroupe les jobs de différente DSI)
Exploitation (Job exploitation DBA)
Infocentre (Job exploitation SC Infocentre)
SIRIUS ( Job exploitation SC transverse)
Ceci correspond à 361 jobs, dont 330journaliers et 31 mensuels.
Les 47 ressources existantes sont le premierpas vers une gestion de la charge desserveurs de bases de données.
Chaque intervenant a un compte propreadministrateur sur l’ensemble desenvironnements.
Les utilisateurs ont chacun un compte nommélié à un profil qui contient son ou sesenvironnements.
Principes majeurs retenus
Espace de travail
Principes majeurs retenus
Applications et Xliens
Pour des raisons de
lisibilité de l’exploitation,
nous avons préféré utiliser
les applications comme
des conteneurs
rassembleurs autour d’un
élément fonctionnel.
Ceci nous a amené a
utiliser des xliens pour lier
un job à un autre.
Principes majeurs retenus
Bilan
Actuellement, nos utilisateurs et nous-mêmes sommes amplement satisfaits de la solution mise en
place, celle-ci nous prend peu de temps par jour.
L’ensemble des objectifs initiaux est atteint.
Aujourd’hui de nouveaux besoins apparaissent. Ceux-ci sont à l’étude (notamment : statistiques et
prévisionnel).
www.cheuvreux.com
L’avenir
L’avenir
Meilleure gestion de la charge des serveurs base de données infocentre.
Nouvelle configuration de site :
Deux sites distants
Bascule de primaire tous les trois mois
Pas de perte d’informations
Bascule à effectuer le WE
Plan d’urgence
Demande de conseil en architecture pour le PRA (Absyss)
www.cheuvreux.com
Fin de la présentation
Séance Questions/Réponses