1 STATO DI AVANZAMENTO DEL PROGETTO SCoPE 21.02.2008 Slides in progress – 21-2-2008 L. Merola, G....
-
Upload
angioletto-pozzi -
Category
Documents
-
view
212 -
download
0
Transcript of 1 STATO DI AVANZAMENTO DEL PROGETTO SCoPE 21.02.2008 Slides in progress – 21-2-2008 L. Merola, G....
1
STATO DI AVANZAMENTO DEL PROGETTO SCoPE21.02.2008
Slides in progress – 21-2-2008 L. Merola, G. Russo
2
Coofinanziamenti PON-MiUR (Avviso 1575/2004)
S.Co.P.E.: Progetto di Ateneo coofinaziato dal MiUR su fondi Europei
Programma Operativo Nazionale“Ricerca Scientifica, Sviluppo Tecnologico, Alta
Formazione” per le regioni dell’Obiettivo 1
3
Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche
Multidisciplinari (S.CO.P.E.)
Il Progetto S.Co.P.E.
4
OBIETTIVI
Realizzazione di un’infrastruttura di calcolo ad alte prestazioni basata sul GRID, Aperta e Multidisciplinare
Realizzazione di codici innovativi nei settori strategici della ricerca fondamentale
Il Progetto S.Co.P.E.
5
CAMPUS-GRID
MEDICINE
CSI
ENGINEERING
ENGINEERING
ASTRONOMICALOBSERVATORY
Fiber Optic Already Connected Work in Progress
Il Progetto S.Co.P.E.
6
Il Progetto S.Co.P.E.
RICERCA FONDAMENTALECon l’ausilio della infrastruttura SCoPE si intende svolgere ricerche nei seguenti settori strategici della ricerca fondamentale:
•Scienze del Microcosmo e del Macrocosmo•Scienze dei Materiali e dell’ambiente•Scienze della Vita•Scienze Sociali•Middleware
7
Comunità attive nell’e-science, operanti anche nell’ambito del progetto SCoPE (1)
Gruppo di Astrofisica: impiegato nella ricerca per la rivelazione delle onde gravitazionali e nello studio di tecniche avanzate di data-mining e visualizzazione di immagini su massivi data-set Astronomici ( http://virgo.infn.it e http://www.eurovotech.org/).
Gruppo di Bioinformatica: impegnato in applicazioni che richiedono un accesso massivo a grandi database, studio di clustering methods con differenti approcci computazionali per genome sequence analysis e image analyses per lo studio di cell motility ed altri fenomeni dinamici (http://bioinfo.ceinge.unina.it/ e http://www.ceinge.unina.it ).
8
Comunità attive nell’e-science, operanti anche nell’ambito del progetto SCoPE (2)
Gruppo di Ingegneria Elettromagnetica: impegnato nella modellizzazione, simulazione e studio di procedure di misura del campo elettromagnetico a livello urbano.
(http://www.diet.unina.it/gruppoCE/GruppoEl.html).
Gruppo di Scienze dei Materiali, impegnato nello studio di dinamiche molecolare e meccanica molecolare, codici tight binding per lo studio di proprietà ottiche di materiali nano strutturati, metodi ab initio e metodi DFT. ( http://lsdm.campusgrid.unina.it/ and http://www1.na.infn.it/cmg/ ).
Gruppo di Matematica Numerica e Calcolo scientifico: design ed analisi di algoritmi per la risoluzione di problemi di matematica di base per applicazioni scientifiche distribuite ed implementazione di tali algoritmi su infrastrutture di HPC
9
Comunità attive nell’e-science, operanti anche nell’ambito del progetto SCoPE (3)
Gruppo di Fisica delle Particelle, impegnato in attività fortemente connesse con il TIER 2 di ATLAS che prevede l’utilizzo di infrastrutture di calcolo per applicazioni large-scale e data-intesive, simulationi Montecarlo ed attività di data anslysis. (http://lxatlas.na.infn.it )
Gruppo di fisca teorica, fortemente attivo in applicazioni di meccanica statistica con uso massivo di tecniche di calcolo parallelo e di strumenti avanzati di HPC ( http://smcs.na.infn.it/ ).
10
Il Progetto SCoPE – Organizzazione WP1 - PROGETTAZIONE, REALIZZAZIONE E TEST
DELL'INFRASTRUTTURA DI CALCOLO E GRID
WP2 - IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID
WP3 - REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI
WP4 - PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE
WP5 - INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE
WP6 - DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI
11
I Lavori – WP1 Opere Edili (WP1)
12
I Lavori – Impiantistica (WP1)
Nuova cabina elettrica da 1 Mwatt (con UPS e GE)
13
Le Attrezzature: Il prototipo (WP1)
Sala infrastrutturaSala infrastrutturaPrincipale Campus GridPrincipale Campus Grid
Sala Sala Tier-2 ATLASTier-2 ATLAS
Prototipo SCoPE Prototipo SCoPE Servizi Core - GSCServizi Core - GSC
Prototipo SCoPE Prototipo SCoPE Servizi CollectiveServizi Collective
Tier-2 ATLASTier-2 ATLAS
Servizi Core Servizi Core GSCGSC
Campus GridCampus Grid
Servizi Servizi CollectiveCollective
14
Le Attrezzature: Nuovo Hardware (WP1)
• Circa 2000 Core in soluzione Blade
• Connessioni Infiniband tra i nodi
• Oltre 130 TByte disponibile su Storage Element
• Sistema di Storage Remoto Oltre 50 TByte
• Farm Multiprocessore
15
collectivecollective10 srv
worker nodeworker nodeworker node
TIPO A 96
blade
worker nodeworker nodeworker nodeworker node
TIPO B 128
blade
Storage elementStorage element
10 srv
SCSI SATA
Computing element
UI & test nodeUI & test node10 srv
2 srv
Sw
itch
giga
bit
ethe
rnet
Sw
itch
fas
t et
her
net
Sw
itch
In
fin
iban
d
worker nodeworker nodeworker nodeworker node
Servizi collettivie di Infrastruttura Grid
Nodi di CalcoloBiprocessori ed SMP
Grid Storage Element
Sistemi di Storage
Le Attrezzature: Hardware del nuovo CED
16
Le Attrezzature: Nuovo Hardware (WP1)
In corso le prime installazioni delle nuove forniture:
• Cluster Multiprocessore
• Sistema di storage 50TB
La consegna e l’installazione completadi tutte le apparecchiatureentro maggio 2008.
17
Le Attrezzature: La rete LAN e WAN• LAN• Dorsale di rete a 10 Gbit/sec• Rete ridondata (2x Gbit/sec, 4x Gbit/sec)• Rete a bassa latenza (1x infiniband)• Rete separata per monitoraggio e management (1x
100 Mbit/sec)
• WAN• Collegamenti Intranet a 2.4 Gbit/sec, ridondati• Collegamenti Internet a 1 Gbit/sec, ridondati
18
Sala di controllo SCoPE (WP1)
1933 POSTAZIONI
Sala di controllo SCoPE (WP1)
20
Middleware (WP2)
• INFNGRID gLite 3.0
– Il middleware INFNGRID garantisce piena compatibilità con il middleware EGEE (gLite/LCG)
• release e aggiornamenti/bugfix frequenti
– Update 37 - 05/12/2007
• semplicità di integrazione con l'infrastruttura Grid italiana (Grid.it) ed europea (EGEE)
• S.O. Scientific Linux 3 (SL3)
• Prevista migrazione a
• INFNGRID gLite 3.1 (SL4)
21
Servizi Collective (WP2)
• Servizio di autenticazione/autorizzazione• Servizi di allocazione dei job• Servizio informativo• Servizio di gestione proxy• Servizio di catalogazione file• Servizio di monitoring• Repository Middleware
RB - II
WMS-LB
MyProxy
VOMS
LFC
GridICE
YAIM
22
Servizi Collective – VOMS (WP2, WP3)
• VOMS (Autenticazione / Autorizzazione)– Il servizio VOMS (Virtual Organization Membership
Service) estende le informazioni presenti nel certificato proxy di un utente con:
• VO membership• gruppo• ruolo• privilegi
– Gestione degli utenti della VO scope tramite interfaccia web
collectivecollectiveVOMS
https://scopevoms01.dsf.unina.it:8443/voms/scope/
23
Servizi Collective: RB, WMS-LB (WP2, WP3)
• Resource Broker (allocazione dei job)– Il Resource Broker consente di abbinare un job
(seriale o parallelo) ad una risorsa di computing e/o storage; tale abbinamento prende il nome di matchmaking e avviene tramite l'elaborazione di• requirement del job• stato della Grid
– WMS (Workload Management System) LB (Logging & Bookeeping): RB gLite
collectivecollectiveRB, WMS-LB
24
Servizi Collective - GridICE (WP2, WP3)
• GridICE (servizio di monitoring)– Il servizio si occupa del monitoring delle risorse
presenti nell’infrastruttura SCoPE– attività strategica per il calcolo distribuito
• analisi delle prestazioni• controllo delle risorse• statistiche sull'utilizzo delle risorse
– basato sul contenuto del servizio informativo– consultabile tramite interfaccia web
collectivecollectiveGridICE
http://scopegridice01.dsf.unina.it/
25
Servizi Collective – GridICE (WP2, WP3)
collectivecollectiveGridICE
http://scopegridice01.dsf.unina.it/
26
Servizi Core (WP2, WP3)
• Sito UNINA-SCOPE-GSC– Raffreddamento ad acqua dei rack, con unità
LCP e chiller esterno– Impianto antincendio interno ai rack– Monitoraggio e telecontrollo– Sensori su tutto (apertura porte rack,
allagamento, umidità aria, etc)
• Servizi di computing• Servizio di storage• User Interface
UI
SE
WN
CE
27
Il Portale – Obiettivo WP6
Nell’ambito del WP6 il progetto S.Co.P.E. si impegna per la massima diffusione dei risultati ottenuti e promouove
treaning per gli utenti inesperti all’utilizzo del grid computing.
STRUMENTI DI DIFFUSIONE
Portale, Forume di discussione
28
Il Portale
http://www.scope.unina.it
Portale attivo conInformazioni sul progetto e in costanteaggironamento
29
STATO AVANZAMENTO (1)
• Prototipo completo (20 blade, 1 multiCPU, 20 server 1U/2U): operativo dal 30.09.2007
• Attrezzature sito remoto 1 (CSI) operative dal 30.07.2007
• Attrezzature sito remoto 2 (multi CPU) (Dipartimento di Chimica) installate; in esercizio dal 01.03.08
30
STATO AVANZAMENTO (2)
• Attrezzature sito remoto 3 (Centro di Eccellenza in Malattie Genetiche) installate; in esercizio dal 10.03.08
• Attrezzature di rete siti remoti (ingegneria): gara in corso
31
Sito centrale a Monte S. Angelo (1)
• Sito fisico centrale (locale Data Center, impianto elettrico 1 Mwatt): realizzato
• 33 rack, 20 “occupati” e 13 “liberi” per espansioni
• 256 blade (2 CPU quad core), connessi con Infiniband + Gigabit
• 40 server per servizi collective
32
Sito centrale a Monte S. Angelo (2)
• Sito Control Room: realizzato
• Attrezzature Control Room: gara in corso
• Cablaggio passivo Gigabit + Infiniband: inizio il 01.03.2008
• Installazione rack raffreddati nel sito centrale: inizio il 02.04.2008
33
Middleware
• VO SCoPE operativa
• Adottato gLITE
• Servizi “collective” attivati sul prototipo
• Servizi “core” attivati sul prototipo
• Servizi di secondo livello (monitoring, accounting, ticketing)
• Tutti testati per l’interoperabilità
34
Applicativi
• Codice nuovo sviluppato in tutte le aree tematiche – Astrofisica– Bioinformatica– Fisica Alte Energie – Scienze dei Materiali
• Adattamento delle applicazioni esistenti per Grid computing: in completamento
• Presentazione a numerosi convegni worldwide