Grids

Cluster

• High-availability (HA) Clusters (Linux HA)

• Load-balancing Clusters (Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite and Maui Cluster Scheduler)

• High-performance (HPC) Clusters (Beowolf)

• Grid Clusters:• Computational Grids• Data Grids• Equipment Grids

GLOBUS

ResourceManagement Data

ManagementGridSecurity

Infrastructure

Applications…….. Users…………...Organizations

InformationServeces

process

gatekeeper

jobmanager

GRAM

GIISGRIS

Resources

MDS GridFTP

FTPserver

RSLHTTP1.1 LDAP LDAP Gsiftp/http/https/file

Job allocationJob management

resource finding data transferdata control

proxy

user

Client

USEUSE

USE

Initialize/destroy

GRAM Client

globusrunGSI Client

globusrunGSI Client

GASS

use (opcioptional)

GRAM Sever

GatekeeperGSI Sever

Job Manager

Perl Script

fork

RSL

RSL Parser RSL

filestdout

GASS

Process PBS Job LSF Job

fork

qsub bsub

Local Resource Manager

HTTP/1.1

RSL

callback

Job satus/cancel

File transfer

Output transfer

GRAM Client

globusrun

DUROCParser

RSLDUROC

HTTP/1.1

RSL

GRAM Server 1

GRAM Server 2

Request and response

of resource information

Request and response

of resource information

Host A

MDS Client

Idapsearch

Host C

GIIS

Resources

InformationProvider

Register

Register

Request and responseof resource information

Host B

Local resource

information

Local resource

information

GIIS

GRIS

Idapadd/delete/modfyslapd

LDAP base

GridFTP Client

Globus-url-copy

File

GridFTP Server

In.ftpd

File

control

transfer

TeraGrid

Visión• Construir una nueva infraestructura para soportar

aplicaciones científicas basadas en grids (hw,sw,networks,new practices, new policies)

• Expandir los centros de cómputo para soportar al infraestructura tecnológica• Centros de operación coordinados y distribuidos

geográficamente.• Explotar conocimiento y experiencia, de modo que el todo

sea más que la suma de sus partes.

• Homogenizar para realizar el trabajo distribuido de forma sencilla y de manera estándar.• Ejecutar un trabajo en toda la TeraGrid• Migrar ejecutables entre sitios.

Objetivos• Crear una capacidad de cómputo sin precedentes• Crear un sistema balanceado y distribuido.

• No un computador distribuido sino un sistema distribuido

• Definir una infraestructura abierta y extensible• Permitir la incorporación de nuevos recursos tanto en

los centros de investigación participantes como en nuevos centros que se incorporen al sistema.

• Retos• High-speed networks• Grid Services• Grid-Enlabled TeraScale facilities• WAN

Escenarios de uso y Componentes• Hardware: Linux/Intel Clusters, Alpha SMP

cluster …• Large-scale storage systems• High-Speed backbone• Grid middelware• Next Generation applications• Visualización remota de grandes cantidades

de datos y aplicaciones sincronizadas armónicamente

• Número variable de procesadores y adaptación a tiempos de latencia variable.

• Alto Throughput

Tipos de Aplicaciones• Computación intensiva• Data intensiva• Acopladas a instrumentos científicos

• Procesamiento y análisis de datos “cercanos” y en tiempo real

• Entes participantes (inicialmente)• Argonne National Laboratory• Caltech• The National Center for Supercomputing

Applications• San Diego Supercomputer Center• Texas Advanced Computing Center

Sistema inicial

Capas de Servicios

Ejemplo de un SITE

Recursos y Servicios• Compute Resources• Data Resources and Data Management

Services• Visualization Resources• Network Resources• Grid Services• Grid Scheduling• Allocations and Proposals

Nuestra WAN

Software Stack• SuSE SLES• X-cat • OpenPBS• Maui scheduler• MPICH, MPICH-G2,

MPICH-VMI• gm drivers• VMI/CRM• Globus• Condor-G

• gsi-ssh• GPT Wizard and GPT• GPT• SoftEnv• MyProxy• Intel compilers• GNU compilers• HDF4/5• SRB client

gLite

• Middleware: Se refiere a una pieza de software que conecta dos o más aplicaciones para que puedan intercambiar datos.

• Middleware de Grids: Integra y organiza recursos computacionales en un grid para presentarlos de manera homogénea.

Proyecto Enabling Grids for E-siencE

• Construir un grid robusto y seguro que atraiga muchos recursos de computo

• Continuamente mejorar y mantener un middleware para este grid.

• Atraer nuevos usuarios de industrias y áreas científicas.

Requerimientos del GRID de EGEE

• Heterogeneidad• Agrupación de recursos vía VO.• Utilización de recursos existentes• Ejecución de trabajos• Servicios de datos• Seguridad• Escalabilidad• Disponibilidad

• gLite fue creado por el proyecto EGE en abril de

2005

• Se unificó con LCG en mayo de 2006

LCG-2 (=EGEE-0)

prototyping

prototyping

product

20042004

20052005

LCG-3 EGEE-1

product

• gLite (Lightweight Middleware for Grid Computing):

Es un middleware para grids orientado a servicios.Brinda servicios para permitir la administración de computo y almacenamiento distribuido.

• Características: Orientado a servicios Rehúso de componentes ya realizados Portable Seguro Tolerante a fallos Compatibilidad con infraestructura ya existente Software libre

Comparación entre gLite y LCG

gLite LCG• Orientado a servicios • Orientado a conexión

• Soporte para MySQL y Oracle

• Soporte para MySQL y Oracle

• Utiliza HTTPS y está basado en certificados grid provistos por VOM

• Utiliza la infraestructura de Globus y certificados digitales para la Autenticación

1. User Interface (UI)

2. Workload Management System (WMS) / Resource Broker (RB)

3. Computing Element (CE)

4. Worker Node (WN)

5. The Logging and Bookkeeping service (LB)

Cada componente de gLite está compuesto a su vez por una serie de paquetes de software (RPMs). Por esto los componentes son denominados metapaquetes. Estos paquetes de software deben ser configurados adecuadamente para trabajar “juntos”.

Information & Monitoring Service

Job Management Service

Data Management Service

Security Service

R-GMA (Relational Grid Monitoring Architecture)

Servicio genérico de descubrimiento.

Instrumentos de apoyo para las transacciones

- Replicación de registros

-API mas simple

-Enfrentarse a la vida en el grid (redes configuradas pobremente, MySQL corrupto, etc.)

Computing Element- CE mueve las VO basado en el planificador local

- Políticas basadas en los cambios de los CE

Logging and Bookkeeping- Sigue trabajos durante su curso de la vida (en

términos de acontecimientos)

Migraciones Compatibibles

Elementos de almacenamiento

Replicación de catálogos y archivos

Transferencia y ubicación de archivos

Catalogo de meta-datos.

VOMS

Job Management ServicesWMS, LB y CE se utilizan bajo la autorización basada en VOMS, y en la información de los usuarios

Data Services Autorizaciones a través de las ACL

Information ServicesAutentificación basadas en los certificados de los VOMS

SUMA/GUSB

SUMA como conjunto de servicios CORBA

Proceso de ejecución e invocación

Execute Submit

Agentes de Ejecucion (Execution Agents)

Cliente Interno (Client Stub) Representante (Proxy) Planificador (Scheduler) Control de Usuario (User

Control)

Arquitectura de SumaPor Capas

Tolerancia a Fallas• CheckPoints

SUMA - Otras Características:

• Planificador• Seguridad• Administración

PREGUNTAS…GRACIAS!