CLOUD COMPUTING: OPEN DATA AND BIG DATA - Giorgio Pietro MAGGI -- Giacinto DONVITO
-
Upload
apulian-ict-living-labs -
Category
Documents
-
view
7.508 -
download
3
description
Transcript of CLOUD COMPUTING: OPEN DATA AND BIG DATA - Giorgio Pietro MAGGI -- Giacinto DONVITO
CLOUD COMPUTING: OPEN DATA AND BIG DATA
INFN -‐ GRUPPO PON-‐ReCaS-‐PRISMA Giorgio Pietro MAGGI -‐-‐ Giacinto DONVITO
2
Sommario
• INFN – storia ed a+vità in corso • Dal Bc2S (Infrastru6ura Data Center Bari ) ad una PiaAaforma Cloud
Aperta: – PON ReCaS – potenziamento infrastru6urale – PON PRISMA – pia6aforma cloud interoperabile per SMART CITIES – Panoramica di uFlizzo: UtenF-‐Servizi-‐Sperimentazioni
• Infrastru3ura/Pia3aforma -‐ Il primo livello di interazione con il Cloud CompuFng
• Servizi: Esempi di servizi cloud – GesFone sicura dei daF – Pia6aforma cloud per la sanità
• Elaborazione di neuroimmagini • Business Intelligence
3
INFN e Grid
• INFN gesFsce una del le maggior i infrastru6ure di calcolo a livello nazionale basata su circa 50'000 cores e oltre 30Pbyte di spazio di archiviazione distribuiF in circa 20 siF.
– La infrastruAura Grid viene uFlizzata con straordinario successo da esperimenF grandi e piccoli a cui INFN partecipa a livello nazionale e internazionale
• L'INFN è l’ente pubblico nazionale di ricerca, dedicato allo studio dei cosFtuenF fondamentali della materia e delle leggi che li governano. Tali a+vità richiedono l’uso di tecnologie e strumenF di ricerca d’avanguardia che l’INFN sviluppa in collaborazione con il mondo dell’industria.
• Il gruppo INFN-‐Bari ha un focus specifico nel supporto alle a+vità di Data Analysis in vari contesF scienFfici
– esperimenF di LHC, BioinformaFca, Analisi immagini mediche, Chimica computazionale, Cristallografia, analisi immagini da satellite, etc
4
INFN e Cloud • INFN partecipa ad infrastru6ure di calcolo di livello europeo e
mondiale come EGI e WLCG, sia nel campo del grid compuFng che del Cloud CompuFng (EGI Federated Cloud Task Force)
• I N F N u F l i z z a l ' e n o rm e esperienza acquisita nel design, sviluppo ed implementazione di i n f r a s t ru6ure d i c a l co lo d i s t r i bu i te , come que l l a n e c e s s a r i a a l l ' a n a l i s i dell'enorme quanFtà di daF prodo+ da LHC, per la gesFone delle infrastru6ure Cloud ed enormi quanFtà di daF (Big Data)
INFN involvement in the LHC project
Exploration of a new energy frontier in p-p and Pb-Pb collisions
LHC ring: 27 km circumference
CMS
ALICE
LHCb
ATLAS
5
Bari Computer Centre for Science DiparLmento di Fisica (UNIBA) & INFN
• Bc2S (Bari Computer Center for Science) è il Data Center di INFN-‐Bari per il calcolo scienFfico, che a6ualmente si compone di circa 4000 core e 2 PB di storage
• Rappresenta il punto di arrivo di una serie di proge+, sia europei sia nazionali – proge+ EGEE ed EGI-‐INSPIRE a6raverso cui è stata realizzata l’Infrastru6ura di GRID europea
– i proge+ di collaborazione con la comunità di bioinformaFca barese, il proge6o Bioinfogrid, LIBI (FIRB) e BioVel
6
Il progeAo PON-‐ ReCaS • ReCaS (Rete di Calcolo per SuperB e altre applicazioni) è un
proge6o PON Ricerca e CompeFFvità 2007-‐2013, finanziato complessivamente per 13.7 milioni di Euro – "potenziamento infrastru3urale” -‐ realizzazione di un'infrastru6ura di
calcolo distribuita nelle qua6ro regioni della convergenza: Calabria, Campania, Puglia e Sicilia.
– Infrastru6ura realizzata in o+ca Grid e Cloud compuLng che si disFnguerà per la potenza di calcolo e la capacità di memorizzazione di daF (capacità circa raddoppiate)
– Supporto alle comunità degli esperimenF al Large Hadron Collider (LHC) – Supporto a comunità diverse in se6ori strategici della scienza: la Fisica, la
Medicina, le Biotecnologie e l'Ambiente – Infrastru6ura per favorire la creazione di DistreF e Laboratori Pubblico
PrivaG e la collaborazione con PMI (sviluppo del territorio) e Pubblica Amministrazione (Smart CiFes & Urban App)
7
4.17
9.55
0.17
sezione longitudinale
0.20
9.55
0.50
0.50
3.00
0.50
3.50
0.80
0.50
3.50
0.50
3.50
9.55
4.50
3.50
1.53
9.55
Il “potenziamento infrastruAurale” a Bari
• Le risorse di ReCaS – Bari
• Realizzazione di un nuovo edificio per il calcolo
Tape library 2.5 PByte Sistema HPC cosFtuito da : • 20 nodi di calcolo ( 800 core)
• Interconnessi con infiniband • 20 acceleratori grafici NVIDIA Tesla K40
Più di 13000 CPU core Storage 5.6 PByte
8
PON PRISMA come PiaAaforma Cloud Aperta
• PRISMA (Pia6afoRme cloud Interoperabili per SMArt-‐government) è un proge6o PON Ricerca e CompeFFvità 2007-‐2013 che coinvolge – Imprese private, EnF di ricerca. Università e Pubbliche Amministrazioni
• Pia6aforma Iaas/PaaS basata su soluzioni open-‐source • GesLone CED PA e CED “federaF” • Supporto allo sviluppo, personalizzazione ed esecuzione di applicaFvi SW • Provisioning on-‐demand di macchine virtuali e storage (affidabilità e sicurezza)
IaaS (Infrastructure as a Service) & PaaS (Pla_orm as a Service)
• Rischio sismico -‐ Pia6aforma per la valutazione assisFta del rischio sismico a scala territoriale • E-‐Government -‐ Modello di ecosistema digitale per le PAL • E-‐Health -‐ l’analisi di daF in ambito sanitario, sistemi per la cooperazione applicaFva tra i sistemi sanitari (ospedalieri e territoriali) e sistemi sociali
SaaS (Soaware as a Service)
9
PON-‐PRISMA
PON-‐ReCaS Bc2S
I proged e le collaborazioni
Servizi
InfrastruAura
Applicazioni • BioinformaFca • Smart CiFes • Chimica computazionale • Fisica dell’atmosfera • Immagini satellitari • FilogeneFca
• EGI (European Grid IniFaFve) • Comunità di ricerca • UtenF finali di Proge+ correlaF (IPPOCRATE, OCP, OPLON, SMART-‐Health 2.0, ecc.) • Do6orandi /ricercatori UNIBA/CNR
UtenL Cloud Aree di Ricerca
10
I vantaggi del Cloud compuLng
• Isolamento – Una pia6aforma cloud può essere usata da molF utenG e il provider
comprendere meccanismi tali da proteggere ed isolare ogni utente rispe6o agli altri (risparmio di cosF, privacy e la sicurezza dei daF)
• Elas,cità – la fornitura di servizi avviene in maniera rapida ed elasGca, allocando le
risorse necessarie in maniera automaFca e trasparente all’utente finale – infrastru6ure cloud si ada6ano automaFcamente alla variazione di
dimensione del carico • Sicurezza (Da, e Servizi)
– Disaster Recovery as a Service per il recupero di applicazioni e processi di business su un sito alternaFvo
• Grazie all’Object Storage è possibile memorizzare daF in più copie, su diversi dischi e su diversi server garantendo così sicurezza e prestazioni
– i daF e le connessioni di accesso ai daF sono criptaL – gli utenF sanno esa6amente dove sono memorizzaF i propri daF (Bc2S)
11
IaaS examples
Use-‐case: Auto-‐scaling
12
IaaS examples
Use-‐case: Object Storage
13
PaaS examples
Use-‐case 1: Web ApplicaLon
14
Use-‐case 2: Inter applicaLon communicaLon
PaaS examples
15
PaaS examples
Use-‐case 2: Inter applicaLon communicaLon
16
PaaS examples
Use-‐case 3: Desktop as a Service
17
La CLOUD per Big Data e Open Data
18
Open-‐Source ed Business Intelligence
Archivio DATI
Pentaho BI Server
Pentaho Report
Designer
Data sources
Visualizzazione Report
Creazione/pubblicazione
Report
19
BANCA DATI SOGGETTI A RISCHIO
DATI CLIMATICI DATI TERRITORIALI …. DATI SENSORI
Uno use case complesso con la PiaAaforma PRISMA
Suite di Business Intelligence & Data Management
Desktop as a service
Data se
curity &
privacy
Mon
itorin
g
Bc2S
Interfaccia
sensori
InfrastruAura ReCaS-‐PRISMA
Web/Mobile App
Geo Map
PaaS
IaaS
20
Grazie per l’aAenzione