Intégration du système de Intégration du système de production LHCb sur la DataGRID production LHCb sur la DataGRID
V. Garonne,V. Garonne,
CPPM, MarseilleCPPM, Marseille
RRééunion DataGRID France,union DataGRID France,
13 f13 fév. 2003v. 2003
ContentsContents
Contexte et motivationsContexte et motivations L’application de productionL’application de production Le passage Le passage àà la grille la grille Perspectives et conclusionsPerspectives et conclusions
Contexte:Contexte:
MotivationsMotivations
L’expérience LHCb: L’expérience LHCb: Etude précise de la violation de CP dans tous les couples Etude précise de la violation de CP dans tous les couples
"particule-antiparticule" contenant un quark beau "particule-antiparticule" contenant un quark beau (mésons beaux) lors des collisions proton-proton. (mésons beaux) lors des collisions proton-proton.
Ses caractéristiques :Ses caractéristiques : De gros volumes de données à analyser (de l’ordre de 1.3
petaoctets par an). Les utilisateurs sont répartis sur l’Europe (500 sur 20 sites). Les moyens de calculs et de stockages sont eux aussi répartis sur
l’Europe.
La simulation du détecteurLa simulation du détecteur La production de données
Job flowJob flow
Gauss - v5
GenTag v7
Gauss - v5
Brunel - v12
Gauss - v5Gauss - v5
Brunel - v12
Pythia – v2
Execution Flow (Jobs)
1) Generation
2) Simulation
3)Reconstruct
4) Analyze
Work Flow
Les contraintes de Les contraintes de l’application de productionl’application de production
Dépendances Dépendances àà des softwares des softwares Les versions évoluent rapidement
En sortie : En sortie : Fichiers de données de plusieurs types A stocker dans des endroits différents
Forte exigence en puissance CPU et mémoire Forte exigence en puissance CPU et mémoire virtuellevirtuelle
Architecture StandardArchitecture Standard
Edit
Prod.Mgr
Work flowEditor
ProductionEditor
InstantiateWorkflow
•Job request•Status updates
ProductionAgent
Productiondata
Scripts
Production DB
Production Server
Bookkeeping infoBookkeeping
Updates
Le passage Le passage àà la grille la grille
Principe : utiliser la grille comme un autre centre de Principe : utiliser la grille comme un autre centre de productionproduction
Application déjà orientée grilleApplication déjà orientée grille Utilisation de peu d’outils de la grille.Utilisation de peu d’outils de la grille.
L’environnement sécurisé Tolérances aux pannes et stabilité du système Service de soumission/contrôle de tâches
Génération du fichier de description de tâche
Sécuriser l’accès au serveur de productionSécuriser l’accès au serveur de production Installation de l’environnement LHCb « Installation de l’environnement LHCb « àà la volée » : la volée » :
Dans le Storage Element Dans le répertoire courant
Architecture de production avec la Architecture de production avec la DataGRIDDataGRID
Edit
Prod.Mgr
Work flowEditor
ProductionEditor
InstantiateWorkflow
•Job request•Status updates
DataGRIDCE
Productiondata
Scripts
Production DB
Production Server
Bookkeeping infoBookkeeping
Updates
Input sandbox:
Job+ProdAgentDataGRID
Agent
Production agentProduction agent
nJob
Batch farm
ProductionAgent
bbftp
Storage
Castor
Job request
Job status update
Bookkeeping info
Production center
Submit job
Log files
Histo filesData files
Transfer data
BK files
Checkdata
Softw
are i
nsta
llatio
n
Job
stat
us
upda
te
Comportement de l’agentComportement de l’agent
1.1. Extrait le script de la Extrait le script de la tâchetâche de « l’ Input Sandbox » de « l’ Input Sandbox »Ou :Ou :
2.2. Demande le(s) script(s) au serveur de production;Demande le(s) script(s) au serveur de production; Vérifie l’environnement:
installe les softwares manquants si nécessaire;
3.3. Exécute la production sur le nœud de travail, informe le serveur de Exécute la production sur le nœud de travail, informe le serveur de productionproduction
4.4. Effectue le « bookkeeping » pour la Effectue le « bookkeeping » pour la tâchetâche finie: finie: Mise à jour de la base de données « bookkeeping »; Transfère les fichiers de log et les histogrammes de monitoring; Transfère les fichiers de données vers un système de stockage; En cas de succès met à jour « bookkeeping »;
Utilisation de BBFTP
Plan de testPlan de test
Durée de la phase de test ~10 joursDurée de la phase de test ~10 jours ~10.000 jobs~10.000 jobs ~6 min. par événement (evts)~6 min. par événement (evts) 3 sortes de jobs : 50 evts, 150 evts, 500 evts3 sortes de jobs : 50 evts, 150 evts, 500 evts Paramètres de soumission (séquencement des Paramètres de soumission (séquencement des
soumissions, nombre de RB)soumissions, nombre de RB) Mesures et statistiques:Mesures et statistiques:
Nombre de jobs réussis Nombre de jobs échoués
Classification Pourcentage Statistique par site
Interface de productionInterface de production
PerspectivesPerspectives
Test des outils EDGTest des outils EDG Gestion des données (GDMP, Replica catalog, Gestion des données (GDMP, Replica catalog,
gridftp)gridftp) Rendre ces données disponibles en dehors du Rendre ces données disponibles en dehors du
contexte DataGRIDcontexte DataGRID Parallélisation d’un job (DAG Manager)Parallélisation d’un job (DAG Manager) Job monitoring services processes (WP3)Job monitoring services processes (WP3)
Certificat spécifique pour les jobs de production ?
Correction automatique et dynamique de Correction automatique et dynamique de l’ordonnanceurl’ordonnanceur
ConclusionConclusion
Incorporation de l’EDG dans le système de Incorporation de l’EDG dans le système de production LHCbproduction LHCb
Utilisation minimaliste des prestations de EDGUtilisation minimaliste des prestations de EDG Plans pour tester les autres outilsPlans pour tester les autres outils Les tests de tâche de production sont en Les tests de tâche de production sont en
cours…cours…
Top Related