Évolution du Middleware des infrastructures distribuées

Jérôme Pansanel

Workshop Opérations France Grilles Bordeaux – Novembre 2016

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 2

● Middleware Grille de calcul

● Middleware Cloud fédéré

● Stockage iRODS

Sommaire

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 3

Middleware Grille de calcul

Middleware Grille de calcul

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 4

EMI-3● Ne plus utiliser ce dépôt !● Pas de mise à jour depuis novembre 2015● Remplacé par UMD Preview

SL5● Les services UMD-3 sous SL5 doivent être éteints

(décommissionnement terminé au premier semestre 2016)● RH redéployées sur UMD-4● Fin des mises à jour de sécurité : avril 2017

Middleware de Grille

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 5

UMD-3

Version actuelle (7 novembre 2016)● v3.14.5 → regular update (VOMS, Gridsite)● Génération de proxies RFC par défaut

→ https://wiki.egi.eu/wiki/UMD-3:UMD-3.14.5

Évolutions prévues● Corrections de bug● Mises à jour de sécurité● Mises en conformité avec le fonctionnement des composants

https://wiki.egi.eu/wiki/UMD_Release_Schedule

https://wiki.egi.eu/wiki/UMD-3:UMD-3.14.5https://wiki.egi.eu/wiki/UMD_Release_Schedule

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 6

UMD-4

Version actuelle (8 novembre 2016)● V4.3.0 → regular update (Gridsite)● Nouveaux composants : ARC, ARGUS et mises à jour (proxies

RFC)● Migrer vers UMD-4 / SL6 (dès que les composants sont dispos) !

→ https://wiki.egi.eu/wiki/UMD_products_ID_cards

Évolutions prévues● Planning des composants :

https://wiki.egi.eu/wiki/UMD3_UMD4_products● Nouvelles fonctionnalités● Corrections de bug● Mises à jour de sécurité● Mises en conformité avec le fonctionnement des composants

https://wiki.egi.eu/wiki/UMD_products_ID_cardshttps://wiki.egi.eu/wiki/UMD3_UMD4_products

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 7

Preview Repository

Preview ?● Remplacement de EMI-3● Fournit des composants récents, mais pas autant testés que dans

UMD-3→ https://wiki.egi.eu/wiki/Preview_Repository

Preview 1.0● Pour UMD-3

http://repository.egi.eu/community/software/preview.repository/1.0/releases/sl/6/x86_64/RPMS/

Preview 2.0● Pour UMD-4 (pour l’instant, uniquemennt CentOS 7)

http://repository.egi.eu/community/software/preview.repository/2.0/releases/centos/7/x86_64/RPMS/

https://wiki.egi.eu/wiki/Preview_Repositoryhttp://repository.egi.eu/community/software/preview.repository/1.0/releases/sl/6/x86_64/RPMS/http://repository.egi.eu/community/software/preview.repository/1.0/releases/sl/6/x86_64/RPMS/http://repository.egi.eu/community/software/preview.repository/2.0/releases/centos/7/x86_64/RPMS/http://repository.egi.eu/community/software/preview.repository/2.0/releases/centos/7/x86_64/RPMS/

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 8

Composant DPM

Dernières versions● Version 1.8.11 dans EPEL● Version 1.9.0 dans EPEL-testing :

• Compatible avec les versions précédentes• Évolution majeure avec la première version de DOME (Disk

operations Management Engine)• http://svnweb.cern.ch/world/wsvn/lcgdm/dmlite/trunk/doc/dome/dome.p

df

Workshop● Workshop DPM le 23 et 24 novembre au LPNHE à Paris :

→ https://indico.cern.ch/event/559673/

http://lcgdm.web.cern.ch/dpm

http://svnweb.cern.ch/world/wsvn/lcgdm/dmlite/trunk/doc/dome/dome.pdfhttp://svnweb.cern.ch/world/wsvn/lcgdm/dmlite/trunk/doc/dome/dome.pdfhttps://indico.cern.ch/event/559673/http://lcgdm.web.cern.ch/dpm

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 9

Composant WMS

Un développement à l’arrêt● Dernier paquet mis à jour : glite-wms-ice-3.5.4-2 en novembre

2014● Pas de mise à jour depuis● Manque de ressources pour le maintenir

Remplacement● Solution actuellement à l’étude au niveau EGI : DIRAC● Utilisé avec succès depuis plusieurs années dans LHC, FG

Biomed, ...

→ prochaine présentation

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 10

VAPOR

VAPOR ?● Un outil développé pour la VO Biomed dans le cadre d’un projet

EGI-Engage● Permet d’explorer les BDIIs● Remplace GSTAT● Accessible depuis le portail des opérations● La version 2.2 en test :

→ http://operations-portal.egi.eu/vapor_dev/● Fonctionnalités supplémentaires (par VO):

• Gestion des données• Statistique sur les jobs

→ http://operations-portal.egi.eu/vapor/

http://operations-portal.egi.eu/vapor_dev/http://operations-portal.egi.eu/vapor/

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 11

CVMFS

CernVM File System● Un outil simple et robuste pour la distribution des logiciels● Basé sur HTTP et FUSE● Système de fichier POSIX :

→ https://cernvm.cern.ch/portal/filesystem● En test pour la VO France Grilles depuis le premier semestre● Fin de déploiement prévu sur l’ensemble des sites : début

décembre● Stratum 0 : CC-IN2P3● Documentation en ligne :

→ https://forge.in2p3.fr/projects/francegrilles-ops/wiki/CVMFS

https://cernvm.cern.ch/portal/filesystemhttps://forge.in2p3.fr/projects/francegrilles-ops/wiki/CVMFS

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 12

Middleware Cloud fédéré

Middleware Cloud fédéré

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 13

Middleware Cloud fédéré

Ocata En développement 22/02/17 TBDNewton Version stable 06/10/16 TBDMitaka Mise à jour de sécurité 07/04/16 10/04/17Liberty Mise à jour de sécurité 15/10/15 17/11/16Kilo EOL 30/04/15 02/05/16Juno EOL 16/10/14 17/12/15

OpenStack● Mises à jour fréquentes (tous les 6 mois)● Ne pas perdre le fil !

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 14

Middleware Cloud fédéré / FG-Cloud

Sécurité● Traçabilité des IPs :

https://github.com/FranceGrilles/openstack-triggers● Isolation intra-tenants :

https://github.com/FranceGrilles/cloud-security

Distribution des images● Glancing :

https://github.com/FranceGrilles/glancing

https://github.com/FranceGrilles/openstack-triggershttps://github.com/FranceGrilles/cloud-securityhttps://github.com/FranceGrilles/glancing

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 15

Middleware Cloud fédéré / EGI

CMD-OS & CMD-ONE● Equivalent de UMD pour le Cloud● Distribution des outils pour rejoindre le projet EGI● OS → OpenStack● ONE → OpenNebula

CMD-OS● CMD-OS-1 → Mitaka, CMD-OS-2 → Newton● Publication prévue fin septembre 2016● Retardée (efforts sont sur UMD-3 & UMD-4)● Keystone-VOMS, ooi et cloud BDII information provider

https://wiki.egi.eu/wiki/EGI_Cloud_Middleware_Distribution_products

https://wiki.egi.eu/wiki/EGI_Cloud_Middleware_Distribution_products

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 16

Middleware Cloud fédéré

Monitoring● Création de deux utilisateurs dans FG_Cloud (test d’isolation)● Surveillance (accès par certificat) :

https://ccnagboxfg.in2p3.fr/nagios/

→ prochaine présentation

https://ccnagboxfg.in2p3.fr/nagios/

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 17

Stockage iRODS

Stockage iRODS

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 18

Stockage iRODS

Évolution● Mise à jour prochaine vers la version 4.2● Déploiement des nouveaux clients via CVMFS● Sondes Nagios migrées vers la nouvelle plateforme France Grilles● Intégration d’un nouveau partenaire : Phénome

8 novembre 2016 Évolution du Middleware des infrastructures distribuées / J. Pansanel 19

Questions ?

Diapo 1Diapo 2Diapo 3Diapo 4Diapo 5Diapo 6Diapo 7Diapo 8Diapo 9Diapo 10Diapo 11Diapo 12Diapo 13Diapo 14Diapo 15Diapo 16Diapo 17Diapo 18Diapo 19