DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

25
DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid

Transcript of DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Page 1: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

DataGrid Revue

Résumé de la seconde revue européenne du projet Datagrid

Page 2: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Agenda

Au CERN du 4 février 14 heures au 5 février 18 heures http://documents.cern.ch/AGE/current/fullAgenda.php?ida=a021814

Agenda Introduction Project general status Software integration and deployement status WP8,WP9,WP10 progress and evaluation Middelware developments Quality assurance

WP8,WP9,WP10 and Middelware demos Dissemination Datagrid in 2003 Reviewers feedback

Page 3: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Project General status

Redéfinition des priorités : qualité et stabilité Publication d’un document de définition de la qualité dans datagrid

http://eu-datagrid.web.cern.ch/eu-datagrid/WP12/default.htm

Liste des priorités a été réorganisée

La résolution des points bloquants mis en évidences par les applications est prioritaire

Prise en compte des besoins des applications

État général du projet La version courante est la 1.4 qui est déployée sur une quinzaine de sites

constituant le testbed d’application.

Différents projets de grille (Crossgrid, DataTAG,…) utilisent l’offre logicielle de datagrid ce qui porte à une quarante le nombre de sites utilisant le logiciel EDG.

La plus part des documents ont étaient fournis dans les temps exceptés quelques uns qui ont été reprogrammés pour être disponibles en Mars 2003.

Page 4: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Project General status

WP1 Test de résistance à la charge notamment de la part des applications.

WP2 Redéfinition et reimplementation des composants défectueux et

collaboration productive avec Globus

WP3 Meilleure stabilité du MDS et surtout développement de R-GMA

WP4 Développement de la nouvelle version de LCFG et collaboration avec les US à

travers le projet GLUE

WP5 Développement d’un interface commune vers les unités de stockage

WP7 Déploiement de l’infrastructure network

Page 5: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Project General status

WP12 Réactivation du groupe d’architecture

Organisation des diverses conférences

Définition de la licence utilisée pour les développement fait dans le cadre datagrid

Collaboration avec les autres projets de grilles

Page 6: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Software integration et deployement status

Activités du groupe d’intégration Intégrer les nouvelles fonctionnalités

Tester : les développements du middelware et des applications

Fournir du support: Installation,configuration,…

18 versions du logiciel EDG entre Février 2002 et Janvier 2003

Différents testbeds Application : stable

Certification: en cour de mise en place

Développement: 5 sites et instable

Middelware: Ensemble de machines à la disposition des développeurs du middelware

Page 7: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Software integration et deployement status

Ressources En progressions

Consommations Assez importantes

Disponibilité Quasiment pleine

Utilisateurs En hausse (352) et très

divers (nationalité ou VO)

Site Country

CPUs

Storage

CC-IN2P3* FR 620 192 GB

CERN* CH 138 1321 GB

CNAF* IT 48 1300 GB

Ecole Poly. FR 6 220 GB

Imperial Coll.

UK 92 450 GB

Liverpool UK 2 10 GB

Manchester UK 9 15 GB

NIKHEF* NL 142 433 GB

Oxford UK 1 30 GB

Padova IT 11 666 GB

RAL* UK 6 332 GB

SARA NL 0 10000+ GB

TOTAL 5 1075

14969 GB

*also Dev. TB; +200 TB including tape

Page 8: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Software integration et deployement status

Évaluation logicielle Nombre utilisateurs et de sites en hausses, nombre de sites,

exécution de « vrai » job Disponibilité,installation,configuration, maintenance, …. Globus : interface vers systèmes de batch ,transfert de fichiers,…

stabilité

Évolutions Replica catalogs Mass storage interface Information Service MDS -> RGMA Nouveaux outils

Conclusions Version courante est viable et fonctionnelle

Page 9: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Objectifs Utiliser le testbed et valider les versions de logiciels Participer au groupe en charge de l’architecture du projet Définir une couche logicielle commune aux applications de physique des

hautes énergies Utiliser les fonctionnalités de EDG pour les Data Challenge Participer à l’élaboration des cours et documents

Évaluation ATLAS Août 2002 Utilisation du logiciel d’ATLAS Plusieurs centaines de soumission de « job » de plusieurs heures de calcul Concordance entre les résultats issues des simulations faites sur la grille et

des simulations « hors grille » Mise en évidence de plusieurs limitations ou problèmes

Page 10: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Évaluation CMS Décembre 2002

Déploiement du logiciel CMS sur la grille

Génération de l’ordre de 250 k événements soit 10 000 « jobs »

Mise en évidence de plusieurs limitations (souvent identiques à celles misent en évidence par ATLAS) ou problèmes.

Recommandations et besoin de changement Data management: notamment au niveau des replica catalogue

Information services:

Workload management:

Détection et récupération d’erreur:

Page 11: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Autres expériences HEP ALICE: « gridification » de leur logiciel, développement de leur

interface

LHCb: « gridification » de leur logiciel

BaBar:testé avec succès la simulation et l’analyse des jobs avec la couche logicielle EDG

D0: Près sur de nombreux points (VO, logiciel,…)

Conclusions et perspectives ATLAS et CMS sont globalement satisfaits de leur tests

Les expériences du LHC vont utiliser la grille pour leur productions.

Les expériences Babar, D0 vont faire des analyses sur la grille.

Page 12: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Objectifs Créer un environnement ( création de portail web, validation des

algorithmes,….)

Communiquer sur le grid dans la communauté des science de la terre ( création de groupes et initiatives diverses)

Participe à l’architecture task force.

Évaluation et résultats Data réplication : Avec création de plus de 10 000 entrées dans le

replica catalogue

Processing: De plusieurs centaines de « jobs »

L’intégrations d’ applicatifs (GOME) a permit avec succès leur utilisation dans le contexte de grille.

Mise en évidence de problèmes de stabilité du Testbed

Page 13: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Conclusions et perspectives Satisfait des résultats.

Adapter et optimiser les logiciels à une environnement de grille

Étendre l’utilisation de la grille à des nouvelles expériences et de nouvelles données ( utiliser les 5 ans de données de GOME)

Page 14: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Objectifs Avoir une middelware compatible avec les besoins de la biologie

Déployer des nœuds de grille dans des laboratoires de biologie

Faire tourner des applications de biologie sur la grille

Évaluations et résultats Implémentation d’un portail pour la phylogénétique.

Implémentation d’une application de gestion d’image médicale.

Plus de 15 utilisateurs WP10 de la grille.

Lancement d’un projet de grille dédiée à la biologie avec une première conférence en janvier 2003 regroupant plus de 200 participants.

Pas encore de site Datagrid dans un laboratoire de biologie

Besoin de plus de coopération entre les work packages applicatifs

Page 15: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

WP8,WP9,WP10 progress and evaluation

Perspectives Faire des tests à grande échelle

Déployer de nouvelles applications

Installer des nœuds de la grille dans des laboratoires de biologie

Page 16: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Middelware developments

Présentation des différents composants du middelware

Avenir du testbed d’application Passage à la Redhat 7.3 et LCFGng

Upgrade de Globus et Condors vers les version 2.2.4 et 6.4.6

Nouveau service information : R-GMA: s’applique à l’information et au monitoring, utilise un modèle de publication/consommation pour fournir les informations.

Replica Management Services: Ensemble de service de réplication.

Replica Location Service.

Nouvelle version du Storage Element : Multiple interfaces, accès natif vers Castor.

Prise en compte du coût du réseau par le Replica catalog et publication dans le système d’information.

Page 17: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Middelware developments

Nouveau ressource broker:

VOMS: Nouvelle version des organisations virtuelles

Déploiement de ces nouveautés pour mai 2003

Page 18: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Quality assurance

Objectifs Stabilité du système

Qualité du logiciel produit

Support utilisateur

Groupe qualité Groupe crée en août 2002 et qui doit définir les règles de qualité

Produit le Datagrid developer’s guide

Définie le processus de test et validation

Sert de pont commun entre les différents WP pour ce qui est de outil commun et des « bonne » pratique de travail.

Page 19: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Quality assurance

Indicateur de qualité Outil de rapport de bugs (Bugzilla)

Taille des sites en productions

Documentation

Processus de validation:

Page 20: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Quality assurance

WPs add unittested code toCVS repository

Run nightly build

& auto. tests

Grid certification

Application Certification

Buildsystem

Certification (**)Testbed ~40cpu

WP specific (*)machines

Certified publicrelease

for use by apps.

Build system

Test Group

WPs

Bugzilla anomalies reports

Unit Test

Build

Certification

Users

Development (*)Testbed ~15cpu

Individual WP tests

Integration

Team

Integration

Office hours

Overall release tests

Tag

ged p

ack

ag

e

Tag

ged r

ele

ase

sele

cted f

or

cert

ifica

tion

Releases candidate

Tagged Releases

Releases candidate

Certified Releases

Cert

ified r

ele

ase

sele

cted f

or

deplo

ym

en

tApps. Representati

ves

(**) with LCG

(*)Current infrastructure

Page 21: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Dissemination

Outils Web: 220 000 hits sur le site Datagrid

Conférences : 29 sur l’année 2002

Démonstration

Tutorial Deroule sur 2 jours

Environ une session par mois

Page 22: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Datagrid in 2003

Les Activités de 2003 De nombreuses nouvelles versions de composants sont attendues

débouchant courant mai 2003 sur la version 2.0 du logiciel EDG.

Support aux applications

Coopération et coordination avec les autres projets de grilles de part le monde

Explorer la migration des logiciels EDG vers OGSA (Open Grid Services Architecture)

WP1 Intégration des notions: d’estimation et de coût du calcul, de

dépendance entre taches,de réservation et allocation de ressources,….

Rapprochement avec OGSA/Web Services

Page 23: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Datagrid in 2003

WP2 Stabilisation et la tolérance aux erreurs du service de replica catalogue Généralisation des interfaces

WP3 Implémentation d’autorisation d’accès Migration vers OGSA

WP4 Définition de nouveaux composants pour l’installation Réorganisation de certains composants

WP5 Introduire la notion de répartition de charge dans les Storage Elements Production d’information pour le système d’information R-GMA Support des différentes bases de données

Page 24: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Datagrid in 2003

WP7 Poursuivre la collaboration avec les projets de « reseau »

Fournir des outils de transfert les plus performants

Adapter les outils WP7 pour être compatible avec OGSA, c’est à dire sous forme de web services

Collaborations Crossgrid (Europe)

DataTAG (Europe – US)

Nordugrid (pays scandinaves)

iVDGL/GriPhy/PPDG (US)

Page 25: DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Conclusion de la revue

Commentaire généraux Bonnes présentations et démonstrations.

L’intérêt des partenaires pour le projet est évident.

La refocalisation sur du projet sur la qualité est évidente et appréciée.

Recommandations Les applications doivent définir des couches communes et se fixer

des objectifs clairs.

Les outils déployés par WP4 sont très intéressants et méritent de vivre en dehors du projet de Datagrid

Le WP11 doit pour la prochaine année se fixer des objectifs quantifiables.

Continuer le travail avec OGSA et la collaboration avec Globus.

Formaliser l’exploitation et le développement du testbed