Dfw sept2014 ims open db and ims catalog -- IMS UG September 2014 Dallas
Isabelle BRUNEEL & Mathieu DALBIN IBM Software … · – Remarque : IMS Tracking ne suit pas les...
Transcript of Isabelle BRUNEEL & Mathieu DALBIN IBM Software … · – Remarque : IMS Tracking ne suit pas les...
© 2012 IBM Corporation
La performance applicative autour d’IMS
Isabelle BRUNEEL & Mathieu DALBINIBM Software Group
© 2012 IBM Corporation2
Surveillance des transactions, analyse et diagnostic
ONLINEJJ-1J-n
M o n i t o r i n gM e t r o l o g y / C a p a c i t y P l a n n i n g
A n
a l y
s i s
d e
p t h
Omegamon
IT CAM
LOG
IMS/CICS Performance Analyser
Transaction Analysis Workbench
DB2 Performance Expert
IMS Problem Investigator
Transaction Analysis Workbench
DB2 Log analysis
Tivoli Decision Support
© 2012 IBM Corporation
Capacités
� Evaluer continuellement la performance des
transactions métiers
� Isoler rapidement les domaines dégradant la
performance transactionnelle
� Gérer proactivement la performance et la
disponibilité
� Fournir un diagnostic efficace des problèmes
de performance
� Automatiser des actions de maintenance et de
réparation
Capacités
� Evaluer continuellement la performance des
transactions métiers
� Isoler rapidement les domaines dégradant la
performance transactionnelle
� Gérer proactivement la performance et la
disponibilité
� Fournir un diagnostic efficace des problèmes
de performance
� Automatiser des actions de maintenance et de
réparation
Les disciplines de la gestion des performances applicatives
Bénéfices
• Réduire le coût de maintenance des applications
• Améliorer la disponibilité des servicesmétiers clés
• Gérer le risque et éviter les problèmes
Bénéfices
• Réduire le coût de maintenance des applications
• Améliorer la disponibilité des servicesmétiers clés
• Gérer le risque et éviter les problèmes
Analytics
Découverte
ExpérienceutilisateursDiagnostics
TransactionTracking
Gestion desperformanceapplicatives
© 2012 IBM Corporation4
Détecter qu’un seuil a été franchi et qu’unproblème est apparu, ou va apparaître dans
les prochainesminutes
Détecter
Identifier le problèmedans une part spécifique de
l’environnement et signaler le problème
Creuser en détailet trouverl’origine du problème
Réparer le composant fautif, valider l’opérationet propager sur la
production
Gestion des performances applicatives de bout en bout
Isoler Diagnostiquer Réparer
ITCAM
ITCAM
OMEGAMON
OMEGAMON
© 2012 IBM Corporation5
Surveillance de bout en bout , Tracking et diagnostics
Mesure des temps de réponsesSurveillance de la performance transactionnelle et identification des problèmes du point de vue utilisateur
Transaction TrackingCorrelation de données provenantde serveurs d’applications, de MQ, de CICS ou d’IMS pour déterminer la topologie et isoler les problèmes
Diagnostic pousséZoom vers les outils de diagnostic pour l’identification du problème et sarésolution
0.97sec0.97sec
0.89sec0.89sec
1.31sec1.31sec
0.01sec0.01sec
0.21sec0.21sec
0.32sec0.32sec
3.71sec3.71sec
© 2012 IBM Corporation6
L’offre ITCAM for transactions
Web Response Time (WRT)Client Response Time (CRT)
Robotic Response Time (RRT) Transaction Tracking (TT)
Réseau ServeursClient
Temps de réponse total
© 2012 IBM Corporation7
Analyse des temps de réponse avec ITCAM
� Module Client Response Time– Temps de réponse des applications vu depuis le poste client (Windows)
– Applications réseaux client/serveur et Internet
– Découpage en temps « réseau », temps « application » et temps « client »
– Lotus Notes, Microsoft Outlook, SAP, PCOMM, Citrix (possibilité d’ajout)
� Module Robotic Response Time– Temps de réponse vu par un client simulé
– Utilisation de RPT pour jouer des scénarios
– Protocoles standards (HTTP, HTTPS, SAP, Siebel, Citric, Web Services, etc)
� Module Web Response Time– Temps de réponse vu par le serveur Web HTTP
– Performance des pages Web et des données statiques (images, etc)
– Découpage en temps « réseau », « client » et « serveurs »
Int
Intéégrgrééau
mod
ule
au m
odule
Transaction
s
Transaction
s Tracking
Trackin
g
© 2012 IBM Corporation8
Suivi des transactions avec ITCAM
� Module Transactions Tracking
Décomposer le temps de réponse en fonction des applications traversées
�TR total ( perçu par l ’utilisateur)
�TR réseau et backend (Mainframe)
�TR Transaction coté Client
�TR Sous-Transaction coté Client
�Nom de l’application coté Client
�Nom de la Transaction coté Client
�Nom de la Sous-Transaction coté Client
�Collecteurs pour:
�IMS & IMS Connect
�CICS/CTG
�MQ
�WAS avec ITCAM for AD
�Distribué (HTTP server, …)
© 2012 IBM Corporation9
ITCAM en action (Vue Topologie)
© 2012 IBM Corporation10
Le Tracking pour IMS et IMS Connect
� IMS Tracking suit les transactions suivantes :– Trafic de transaction VTAM, BTAM et APPC (transactions non OTMA).
– Trafic de transaction IMS Connect/OTMA dans IMS.
– Trafic MQ (requiert MQ Tracking for z/OS).
– Trafic de files d'attente partagées et de liens MSC entre des environnements IMS
uniques ou Sysplex.
– Trafic SQL de base de données DB2 d'applications IMS.
– Remarque : IMS Tracking ne suit pas les applications IFP (IMS Fast Path).
� Installation :– Basé sur les exits IMS standards
1. Installation SMP/E d’ITCAM
2. Un module à rajouter dans la STEPLIB des région de contrôle IMS
3. Paramétrage du produit ITCAM
4. Intégration dans l’interface graphique (TEP)
© 2012 IBM Corporation11
Les possibilités de la gamme OMEGAMON
� La supervision– Détecte les problèmes au sein des sous-systèmes du z/OS
– Emet des alertes vers les équipes techniques
– Transmet des alertes vers d’autres outils
– Prend des actions automatiques
� Le diagnostic– Lance des traces automatiquement ou à la demande de l’utilisateur
– Détecte les goulots d’étranglement (bottleneck) et les dégradations (wait/lock)
– Permet de zoomer en profondeur pour isoler la panne
� L’aide à la résolution– Contient une aide en ligne pour bien appréhender les informations affichées
– Permet de lancer des commandes à partir de l’interface (3270 & TEP)
© 2012 IBM Corporation12
La supervision IMS avec Omegamon
� Gestion IMS– Régions, Transactions, Shared Queues, Fast Path, …
� Contenant et contenu– Régions IMS (contrôle et transaction - MPP, FP, BMP)– Utilisation CPU et Virtual Storage et I/O– Buffer Pools (OSAM, VSAM)– Workload (PSB)– Transactions– Databases– Network– IMSPlex (Shared Queues, IRLM)
� Outils d’OMEGAMON– Degradation & Impact Analysis– Response Time Analysis– Application Trace Facility– Transaction Reporting Facility– Historique court et long terme
© 2012 IBM Corporation13
Les interfaces OMEGAMON
© 2012 IBM Corporation14
Omegamon 5.1 - Nouveautés
� Self-Describing Agent (ITM 6.2.3)– Simplifie la maintenance
– Diminue le temps d’indisponibilité
– Extensible aux autres interfaces (TIP, 3270)
� PARMGEN– Configuration simplifiée
– Déploiement facilité (par BATCH)
– Disparition d’ICAT dans les prochaines versions
� Nouvelle interface 3270– Nouvelle architecture
– Données similaires à la TEP
– Interface commune à tous les domaines
© 2012 IBM Corporation15
Omegamon 5.1 - Nouvelle interface 3270 - Architecture
© 2012 IBM Corporation16
Omegamon 5.1 - Nouvelle interface 3270
© 2012 IBM Corporation17
Omegamon 5.1 - Nouvelle interface 3270 - IMSPlex
© 2012 IBM Corporation18
Omegamon 5.1 - Nouvelle interface 3270 - Sous-systèmes IMS
© 2012 IBM Corporation19
ITCAM et OMEGAMON - Intégration dans ITM
� Les utilisateurs– Consultent les informations de performance
– Récupèrent les alertes• Affinent leur diagnostic avec Omegamon• Prennent des actions curatives
� ITCAM et OMEGAMON– Récupèrent et envoient les informations
– Emettent des alertes lors des dépassements
de seuils
Tivoli System Automation peut également prendre des actions automatiques en réponse à des
alertes émises par ITM !
Tivoli System Automation peut également prendre des actions automatiques en réponse à des
alertes émises par ITM !
© 2012 IBM Corporation
Les disciplines de la gestion des performances applicatives
Analytics
Découverte
ExpérienceutilisateursDiagnostics
TransactionTracking
Gestion desperformanceapplicatives
I TCAM
I TCAM
OME GAMON
OME GAMON
� Détecte les problèmes des sous-systèmes
� Aide au diagnostic
� Offre des outils pour réparer
� Détecte les problèmes transactionnels
� Aide pour isoler l’incident
© 2012 IBM Corporation2121 Tivoli Decision Support for z/OS
TDS/z – Pourquoi ?
� Contrôler la disponibilité des systèmes sur la durée
� Connaître la consommation des applicatifs, Batch et services
� Anticiper les saturations CPU et disques
� Montrer aux utilisateurs le respect des engagements de service (SLA)– Temps de réponse, nombre de transactions…
– Fenêtre batch
� Juger de l’efficacité des actions prises (tuning, upgrade…)
� Facturer les clients (internes ou externes)
Comparer les performances machine, systèmes et sous systèmes
© 2012 IBM Corporation2222
� Collecte les logs provenant de sources multiples:– SMF, RMF, IMS, CICS, etc...
� Agrège les données récoltées dans une base DB2
� Créé des rapports de performance personnalisés
TDS/z – Comment ?
TDS for z/OS: Analyse de l’évolution des performances dans le temps
TUAM indique les coûts par utilisateur et entité
© 2012 IBM Corporation23
TDS/z - Architecture
DB2
3270
Reporting WebTivoli Enterprise Portal
AdministrationAdministration
Base Produit
Sys
tem
Pe
rform
an
ce
Sys
tem
Sys
tem
Pe
rform
an
ce
Pe
rform
an
ce
Dis
tribu
ted
Sys
tem
sD
istrib
ute
dD
istrib
ute
dS
ys
tem
sS
ys
tem
s
AS
/400
AS
/400
AS
/400
CIC
SC
ICS
CIC
S
IMS
IMS
IMS
Ne
two
rkN
etw
ork
Ne
two
rk
TU
AM
T
UA
M
TU
AM
Composants optionnels (non inclus dans la base)Composants optionnels (non inclus dans la base)
Plus de 1000 rapports prédéfinis
Possibilité de créer ses composants utilisateurs
© 2012 IBM Corporation24
TDS/z – Composants de “IMS”
• IMS Collect
• IMS log records • MSC
• ISC
• APPC
• IMS internal statistics
• IMS Availability
• Shared Message queue
Supporte:
• Full-function txn analysis
• Fast path txn analysis
• Mixed Mode txn analysis
• Program-to-program switching
• Message switching
• Versions d’IMS multiples
Tivoli Decision Support for z/OS BaseTivoli Decision Support for z/OS Base
IMS
IMS
IMS
© 2012 IBM Corporation25
TDS/z – Les interfaces disponibles
Mode 3270
Administration et visualisation de rapports standards
Sous forme de tableaux ou graphiques (GDDM)
Web Reporting (TCR)
Interface conviviale de visualisation des rapports
Utiliser les graphiques directement pour des présentations
Tivoli Enterprise Portal
Zoomer sur les informations qui nous intéressent
Utiliser une interface qui fédère la gamme TIVOLI
© 2012 IBM Corporation26
TDS/z Web Interface: TCR (Tivoli Common Reporting)
� Serveur Web facilement installable
� Afficher les rapports TDS/z dans un navigateur Web
� Profiter de la communauté Tivoli Common Reporting
� Rapports basés sur BIRT (Business Intelligence Reporting Tool)
DB2
© 2012 IBM Corporation27
TDS/z – Intégration dans la TEP
� Utilisation d’un agent TEMA propre à TDS/z
� Workspace prédéfinis permettant d’afficher de nombreux rapports:
– Job Address Spaces
– IMS Transactions
– System Statistics
– CICS
– Etc…..
� Intégration au sein de l’architecture ITM existante
DB2
© 2012 IBM Corporation28
TADDMTivoli Application Discovery Dependency Manager
� Sa raison d’être …
–Alimenter automatiquement une CMDB. Car si elle est mise à jour manuellement, autant utiliser un tableur….
–Lors d’incident, aider les équipes du monitoring à visualiser rapidement les configurations des composants, ainsi que les derniers changements.
–Transmettre la cartographie de l’infrastructure vers un outil de gestion de tableau bord métier.
© 2012 IBM Corporation29
LOGISTICS
INVENTORY
Comment TADDM répond-il aux besoins ?
� Comprendre ce que vous avez– TADDM effectue une découverte complète et classe l’information :
Sur les applications incluant leurs dépendances
Sur les serveurs qui hébergent les applications
Sur les réseaux (routers, switches, etc)
� Comprendre comment cela a changé– TADDM suit les changements dans les applications
Les représentent sur des cartes
Fournit les informations dans des rapports à la demande
� Comprendre ce qui a été impacté– TADDM peut vous décrire quels groupes ou quelles applications ont
été concernés.
– TADDM a des interfaces d’intégration /les autres outils de gestion de
la production.
ORDER ENTRY
© 2012 IBM Corporation
Les disciplines de la gestion des performances applicatives
Analytics
Découverte
ExpérienceutilisateursDiagnostics
TransactionTracking
Gestion desperformanceapplicatives
I TCAM
I TCAM
OME GAMON
OME GAMON
� Détecte les problèmes des sous-systèmes
� Aide au diagnostic
� Offre des outils pour réparer
� Détecte les problèmes transactionnels
� Aide pour isoler l’incident
T DS /z
T DS /z
� Permet le suivi de l’état de santé des composants sur la durée
� Génère des rapports détaillés et personnalisés
TADDM
TADDM
� Découvre et observe les composants de l’environnement technique
© 2012 IBM Corporation31
Un moment de déprime ?
© 2012 IBM Corporation32
L’analyse en profondeur est parfois délicate …
z/OS
OPERLOG SMF / RMF 30,64,88 … /7x
IMS
DL/1
DB2
IMS TM
CICS
DDF
DB2 SP
IMS Connect
CTG
OTMA
WAS/z
MQ
IMS Connect
CE
XC
EXCEX
journal
CEX
journal
IMS log
DB/DC Monitor
SMF
114/115
120/111 ATF/TRF
SMF
100/101/102
SMF
110
CQS LGSTRM
CQS
OM
EG
AM
ON
DB2 log
MQ log
© 2012 IBM Corporation33
Les produits pour aller plus loin
� IBM Transaction Analysis Workbench– Intègre une large variété de données du z, permet l’analyse interactive ou en batch de
ces données, l’édition de rapports, et s’articule avec d’autres produit comme PI et PA.
� IMS Performance Solution Pack– IMS Problem Investigator : Analyse interactive de logs pour des transactions IMS
– IMS Performance Analyzer : Edition de rapports de performance pour les transactions
IMS.
– IMS Connect Extension : Etend les fonctions d’IMS Connect ( ex: logging et fonction de
routage )
� CICS Performance Analyzer : – Edition de rapport de performance pour des transactions CICS
� DB2 Performance Expert– Edition de rapport de performance DB2.
� DB2 Log Analysis– Permet l’analyse des logs DB2.
N’est pas limité à IMS N’est pas limité à IMS
IMS scope, produits séparés IMS scope, produits séparés
© 2012 IBM Corporation34
Positionnement de Transaction Analysis Workbench
� Sert à faire de l’analyse de performance et de l’analyse de problème d’une transaction de bout en bout, qu’elle soit IMS ou CICS.
� N’est pas spécifique à IMS. Il intègre des données z/OS , avec de nombreux enregistrements SMF, logstream, mais aussi IMS, IMS Connect Extensions et DB2.
� Ne remplace pas un moniteur Online ( type Omegamon ou Mainview )
� Permet de faire des sessions ISPF en partageant un environnement d’étude ( fichiers, tags et annotations ). Facilite la gestion des problèmes dans une équipe.
� Contient des modules de formatage pour des records SMF qui permet leur extraction, leur analyse, et l’édition de rapports facilement, sans chercher l’utilitaire adéquat.
� Approche interactive intuitive qui diminue la compétence requise. Aide à la formation.
� Partage des informations avec Session Manager. Totalement intégré à IMS/PA, CICS/PA, IMS Connect Extension ( et bientôt plus ). Les rapports sont déclenchés dans la session d’étude.
� Sélection automatique des logs DB2 en plus de celles d’IMS et de CEX
© 2012 IBM Corporation35
Détails d’une session
Faire des rapports
Faire du diagnostic
Et laisser l’historique pour
le partager !
Sélection automatique ou
Fichiers spécifiques !
© 2012 IBM Corporation36
----------- Number of Address Spaces -----------
---- In --- -In Ready- -Out Ready- -Out Wait-
Avg Max Avg Max Avg Max Avg Max
151 156 7 86 0 1 0 0
77 80 1 15 0 0 0 0
69 72 1 9 0 0 0 0
------------------------ Number
- Interval Start -- System - %CPU Busy - IO ---- In --- -In Ready- -Out Re
Date Time Name LPAR MVS Rate Avg Max Avg Max Avg
2010-08-17 23:45:00 FTS1 68.75 87.42 2282.4 151 156 7 86 0
FTS2 4.07 4.50 9.4 77 80 1 15 0
FTS3 4.03 4.39 12.6 69 72 1 9 0
2010-08-18 00:00:00 FTS1 61.15 72.16 1934.8 150 155 5 76 0
FTS2 4.15 4.72 8.4 77 79 1 8 0
FTS3 3.88 4.41 11.7 69 73 1 13 0
SMF 70-1: RMF Processor Activity report
Les contraintes CPU sont une des causes les
plus fréquentes de
ralentissement et
peuvent aboutir à des contentions.
Out Ready identifie le nombre d’espacesadresses qui sont en attente d’être dispatchés pour du CPU.
CPU Busy et IO Rate
sont les indicateurs de performance classiques
du système.
Chercher les pics qui peuvent indiquer des ralentissements.
© 2012 IBM Corporation37
SMF 101: DB2 Thread Accounting Summary report
DB2 Plan ---------- Connection ----------- Thread
SSID Name Name Type Count
DB3A CEXTPGM IADG IMS MPP 68
Start: 2010-06-24 15:27:39
End: 2010-06-24 16:44:00
Class1: Thread Time Avg: Elapsed=70.43305 CPU= .011006 Interval: 01:16:20
Max: Elapsed=2045.732 CPU= .013724 Rate/sec: < 1
Class2: In-DB2 Time Avg: Elapsed= .015108 CPU= .006035
Max: Elapsed= .033537 CPU= .008234
Class3: Suspend Time Avg: Total = .008709 I/O= .000000 Lock/Latch= .002404 Other= .006305
Max: Total = .017377 I/O= .000000 Lock/Latch= .007199 Other= .010178
Buffer Manager Summary Avg: GtPgRq= 7.0 SyPgUp= 3.0
Max: GtPgRq= 7 SyPgUp= 3
Locking Summary Avg: Suspnd= .0 DeadLk= .0 TmeOut= .0 MxPgLk= 1.0
Max: Suspnd= 0 DeadLk= 0 TmeOut= 0 MxPgLk= 1
SQL DML Query/Update Avg: Sel= .0 Ins= 1.0 Upd= 1.0 Del= 1.0
Max: Sel= 0 Ins= 1 Upd= 1 Del= 1
SQL DML 'Other' Avg: Des= .0 Pre= .0 Ope= 1.0 Fet= 9.0 Clo= 1.0
Max: Des= 0 Pre= 0 Ope= 1 Fet= 9 Clo= 1
Toutes les transactions qui
utilisent DB2 génèrent des enregistrements
d’accounting qui montrent
comment DB2 réagit dansl’application et en dehors.
© 2012 IBM Corporation38
IMS-DB2Problemdetermination
IMS log
DB2 IFCID
trace (SMF)
MVS
SYSLOG
© 2012 IBM Corporation39
File Mode Filter Time Labels Options Help——————————————————————————————————————————————————————————————————————————————BROWSE FUNDID.SMF.D110429.CICSDB2.FULL + Record 00001017 More: < >Command ===> Scroll ===> PAGE
Slice . . Duration 00.10.00 Date 2011-04-29 Time 15.43.14.390000Code Description < 00.05.00.000000 > 2011-04-29 Friday Time (LOCAL)
/ ---- ------------------------------------------------------ ----------------TAG Problem transaction that abended-probable DB2 deadlock 15.43.14.333665----------------------------------------------------------------------------
tx 6E13 CICS Transaction 15.43.14.333665TranCode=TWMU Program=TWM$UPD Userid=TWM1 LTerm=SC0TCP13 Terminal=CP13RecToken=FUWTCIC/C7B1A1C77C91A063 Resp=3.416706 CPU=0.041252 DB2=17Task=168 Abend=DB40
----------------------------------------------------------------------------******************************** Bottom of Data *******************************
Scenario CICS DB2 : transaction tracking (1)
TX permet d’obtenir tous les records de log de cette transaction.
© 2012 IBM Corporation40
File Mode Filter Time Labels Options Help——————————————————————————————————————————————————————————————————————————————BROWSE FUNDID.SMF.D110429.CICSDB2.FULL + Record 00000488 More: < >Command ===> Scroll ===> CSR
Slice . . Duration 00.10.00 Date 2011-04-29 Time 15.43.14.000000Code Description < 00.05.00.000000 > 2011-04-29 Friday Time (Relative)
/ ---- ------------------------------------------------------ ----------------66 DB2 Performance 211 Make/release/change claim request +0.01227566 DB2 Performance 021 Lock detail SSID=DBA3 SYSID=FTS3 +0.0123410020 DB2 Unit of Recovery Control - Begin UR +0.0124940020 DB2 Update In-Place in a Data Page +0.01251066 DB2 Performance 058 SQL call completion +0.01262666 DB2 Performance 122 Thread level exit from DB2 +0.01267966 DB2 Performance 121 Thread level entry into DB2 +0.01282666 DB2 Performance 066 SQL close cursor +0.01289866 DB2 Performance 018 Exit from OSET, SRT1, or RNXT +0.01295366 DB2 Performance 058 SQL call completion +0.01304566 DB2 Performance 122 Thread level exit from DB2 +0.01308566 DB2 Performance 121 Thread level entry into DB2 +0.01324966 DB2 Performance 061 SQL del/insert/update +0.0134030010 DB2 Savepoint +0.01348666 DB2 Performance 017 Seq/Workfile scan (RNXT) entry +0.01351866 DB2 Performance 223 Commit_LSN detail record +0.01359766 DB2 Performance 021 Lock detail SSID=DBA3 SYSID=FTS3 +0.014067
Scenario CICS DB2 : transaction tracking (3)
Sont intercalés les enregistrements 10 et 20 de la log DB2, montrant l’activité DB2,
complémentaire aux enregistrement SMF 102 de performance DB2.
© 2012 IBM Corporation41
La performance applicative autour d’IMS – Faites votre choix!
Analytics
Découverte
ExpérienceutilisateursDiagnostics
TransactionTracking
Gestion desperformanceapplicatives
IBM Tivoli Composite Application Manager /ITCAM
OMEGAMON
TivoliDecisionSupport /TDS
Tivoli ApplicationDependencyDiscoveryManager /TADDM
IMS Problem
InvestigatorIBM Transaction
Analysis Workbench
IMS Performance
Analyzer