Informatics Division INFO Coordinatore Calcolo Scientifico Ing. Silvio Migliori...

Informatics Division INFOCoordinatore Calcolo ScientificoIng. Silvio Migliori ([email protected])(12-2003)

La grande ragnatela del GRID computing

The Grid: The Web on Steroids

On-demand creation of powerful virtual computing systems

http://

http://

Web: Uniform access to HTML documents

Grid: Flexible, high-perf access to all significant resources

Sensor nets

Data archives

Computers

Softwarecatalogs

Colleagues

Ian Foster

Layered Grid Architecture(By Analogy to Internet Architecture)

Application

Fabric“Controlling things locally”: Access to, & control of, resources

Connectivity“Talking to things”: communication (Internet protocols) & security

Resource“Sharing single resources”: negotiating access, controlling use

Collective“Managing multiple resources”: ubiquitous infrastructure services

User“Specialized services”: user- or appln-specific distributed services

InternetTransport

Application

Link

Inte

rnet P

roto

col

Arch

itectu

reIan FosterSC2000

Architettura --- > Funzioni

Application

Fabric

Connectivity

Resource

Collective

User

Sensor netsData archives

Computers

Softwarecatalogs

Colleagues

?

Alcuni Criteri di scelta di una GRID

Funzioni da realizzare (calcolo, DB, dimostrativi..)

Utenza (ricercatori generici, ricercatori tematici, produzione,..)

Applicativi (disponibilità del sorgente, commerciali, paralleli, seriali, interattivi..)

Risorse economiche Qualità di servizio Interazione con altre GRID

Cosa definireTecnologia ---- > Utente

I servizi dell’utente finale Il patrimonio conoscitivo dell’utente Le modalità di lavoro dell’utente I Servizi del GRID Protocollo di comunicazione su cui basare i

servizi ( Globus, Condor, Legion…) Risorse Software/Hardware

Alcune difficoltà nascoste(non tecniche)

Impatto psicologico

– Utenti

– Amministratori

– Responsabili

– …….

(Sensazione della perdita del controllo/potere..)

Impatto culturale– Lavorare in termini funzionali e logici e non fisici

(mi collego alla macchina pippo.enea.it --- > ho necessità di una macchina Linux )

Criteri di amministrazione

Distribuiti, Coinvolgimento

costante di tutti (U., A.,R, …)

Formazione costanteTempo per la crescita

culturale

Alcune difficoltà nascoste(tecniche)

Gestione delle licenze software Gestione delle variabili di ambiente per software complessi Gestione delle installazioni multipiattaforma Proprietà concettuale dei dati e programmi Gestione delle conoscenze dell’utente Velocità di crescita e aggiornamento

GRID to GRID

Ogni organizzazione/Progetto, gruppo di utenza virtuale o reale tende ad avere una propria GRID

La comunicazione fra i servizi di GRID diverse è fondamentale per lo sviluppo in questo settore

Gli standard attuali sono una base ma non esauriscono le necessità

ENEA GRIDENEA GRID

Main ServiceMain Service•CPUs : 500 GFlopsCPUs : 500 GFlops

•Main Computational Code : Main Computational Code :

Nuclear, FEM, CFD, Electromagnetic, Nuclear, FEM, CFD, Electromagnetic, …….…….

•Virtual reality environmentsVirtual reality environments

•Parallel environment for user code Parallel environment for user code

•Integration GRID to GRID: (DATAGRID, Integration GRID to GRID: (DATAGRID, SPACI, EGEE)SPACI, EGEE)

Graphic Interface

DataGrid at

ESA\ESRIN

EN

EA

GR

ID

Gig

aB

it-Lin

k

CNRTor Vergata

•Collegamenti Internazionali (linee viola sulla mappa)

•MI-GEANT 2.5 Gbps •MI-GX 2.5 Gbps •RM-KQ 622 Mbps (in attivazione)

•Back bone (linee blu a 2.5 Gbps e rosse a 155 Mbps sulla mappa)

•backbone a magliatura completa tra i nodi di trasporto MI, BO, RM, NA.

•Collegamenti tra Backbone e POP di accesso (linee arancione sulla mappa)

•MI-MI 155 Mbps •MI-TO 155 Mbps •MI-TS 2 x 34 Mbps •MI-GE 2 x 34 Mbps •BO-BO 155 Mbps •MI-PD 155 Mbps •BO-PI 2 x 34 Mbps •BO-FI 155 Mbps •RM-RM 155 Mbps •RM-Fra 155 Mbps •RM-AQ 2 x 34 Mbps •RM-CA 2 x 34 Mbps •NA-NA 155 Mbps •NA-BA 2 x 34 Mbps •NA-PA 34 Mbps •NA-CT 2 x 34 Mbps •RM-PG 34 Mbps (in attivazione) •NA-CS 34 Mbps (in attivazione)

•Peering Nazionali (linee azzurre sulla mappa) •MIX Milano 155 Mbps •NAMEX Roma 100 Mbps

2.5 Gbps =>10 Gbits

CitrixMetafra

me

CitrixNfuse

ICA

WEB(ICA)

power3.frascati.enea.it

boquad.bologna.enea.it

dafne.casaccia.enea.it

infocal.trisia.enea.it

GEANT

DataGrid at

ESA\ESRIN

grid0007

ENEA GRID

GigaBit-Link

CNRTor Vergata

8

622 Mbps

ENEAINFO

12017

0

NEW

Cray 39 Gflops

25 Gflops

Cluster Linux 50 Gflops

New IBM Power4

16 CPU70 GFlops

PORTICI

Software Conceptual Structure

ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY ,ENERGY AND THE ENVIRONMENT Fig 6

AFS Geographical cross platform& File System

Load Leveler LSF

Graphic User Interface LSF multi-cluster as integrator

Telnet

User programs & commercial code

ICAWEB

Cluster 1° ( Bologna)


Load Leveler LSF


Telnet


ICAWEB

Cluster 3° (Frascati)


Load Leveler LSF


Telnet


ICAWEB

Cluster 2° (Nord Rome)


Load Leveler LSF


Telnet


ICAWEB

Cluster 4° (Trisaia )

Load Leveler LSF


Telnet


ICAWEB

Cluster 5° ( Portici)

& File System

Load Leveler LSF

Graphic User Interface

Telnet

ICAWEB

Cluster 6° ( Brindisi)

NEW

NEW

Software Conceptual Structure

ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY ,ENERGY AND THE ENVIRONMENT

AFS Geographical cross platform & File System

AIX SGI SUN Compaq

NT Linux

Quadrics

…

LSF

Graphic User Interface

LSF multi-cluster as integrator

XTERM


Application Portal (Metaframe/Nfuse)

ICAWEB

Qu

alità

di serv

izio

Mon

itori

ng

di sis

tem

a e

d’u

tilizzo,

Recu

pero

e S

eg

nala

zio

ne A

uto

mati

co a

nom

alie,

pia

nifi

cazio

ne s

vilu

pp

o

Load Leveler RMS

DB_2

DB_1

CPUSENEA GRID

WEBICASSH

Sensors&

Computational GRID

DNA Sequence system( ABI Prism 3700)

“GOME”

DB_3

DB_4

Electronic Microscope (Brindisi)300 Kev

Lavorare in GRID

L’utilizzo efficace delle risorse in rete richiede una crescita nel modo di lavorare– Utente

Capire come funziona ‘’logicamente’’ la propria applicazione Avere un’idea del flusso dei dati Sapere se esistono versioni per più piattaforme Provare nuovi modi di lavorare ……...

– Amministratore Installare l’applicazione in modo efficiente sfruttando le informazioni

fornite dall’utente e dai fornitori dei codici in relazione alla propria GRID

Ottimizzare le configurazioni del sistema ( Code, associazione codici-calcolatore,…..)

……

Nuovi modi di lavorare Es. 1 (IGNITOR)

ENEA GRID

ANSALDO(GE)

ENEA(ISPRA)

ORNL(USA)

CRIOTEC(TO)

Funzioni :•Condivisione Dati su area geografica•Utilizzo software applicativo•…..

Nuovi modi di lavorare Es. 2 (Yann Pouillon )

( Louvain la Neuve )

Nuovi modi di lavorare Es. 2 (Yann Pouillon )

Es. 3 Test Program “GOME”

ENEA-Geographic SUBMITION PROCEDURE

Input FilesLIV1

List of pathInput File

LIV1

IDL “GOME” Program

Output FileLIV2

.jpg Image

Input FileLIV1

List of pathInput File

LIV1

IDL Program“GOME”

Output FileLIV2

.jpg Image Input File

LIV1

List of pathInput FileLIV1

Case-1

Case_2

Case n

WEB

User afs/home

Graphic environment under

AFS

ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY ,ENERGY AND THE ENVIRONMENT

IBM SP

CATIA User(AIX)

FUS Project Users

UserInterferom

etriaOligrafia

Octane 2ProcBologna

Octane 2ProcCasaccia

Onyx3 4ProcFrascati

Cray

INFO Graphic Developers

UsersRobotica

Clu

ste

r Lin

ux A

lph

a

Onyx2 4ProcCasaccia

new

new

new

new

Simulazione RoboticaFig 2a

WEB access “ Direct to the applications ”

ACCESSO AI SERVIZI DELLA CELLA afs fusione.enea.it

Por ti c

i

Brin

dis

i

Clus

ter

Clus

ter

Pote

nzia

men

to

New

National and International GRIDs

ENEA ENEA

Main activities & Main activities & resources for EGEEfor EGEE

•Integration of EGEE-GRID to ENEA-GRID;Integration of EGEE-GRID to ENEA-GRID;

•100 CPUs at 20% of time100 CPUs at 20% of time

DataGrid at

ESA\ESRIN

Globus

Based g

ateway

GigaBit-

Link

EGEE GRID

Globus Based gateway

Glo

bu

s B

ased

gate

way

ENEA-GRID

[email protected]

S-PACIGRID

8

622 Mbps

ENEAINFO

12017

0

NEW

Cray 39 Gflops

25 Gflops

Cluster Linux 50 Gflops

HPCCHpcc-w10

(Cosenza)

ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT

RESEARCH AND TECHNOLOGY

AT THE NATION’S SERVICE

Informatics Division INFO Coordinatore Calcolo Scientifico Ing. Silvio Migliori...

Documents

Transcript of Informatics Division INFO Coordinatore Calcolo Scientifico Ing. Silvio Migliori...