Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware....
Transcript of Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware....
![Page 2: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/2.jpg)
Objetivos
● Exponer áreas de convergencia entre Computación Voluntaria, Cloud y HPC.
● Un ejemplo práctico (sobre el que hemos estado trabajando).
● Comentarios sobre seguridad, costes y financiación.
2 de 34
![Page 3: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/3.jpg)
ÍNDICE
● Conceptos y descripciones.
● Introducción a BOINC.
● Ejemplos: CPDN on-demand y WACCM sobre GCE.
● Seguridad en el Cloud.
● Cloud y financiación.
3 de 34
![Page 4: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/4.jpg)
Computación Voluntaria
Computación orientada a la resolución de problemas (e.g. simulaciones) u operaciones usando recursos virtuales donados voluntariamente por individuos u organizaciones.
4 de 34
![Page 5: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/5.jpg)
Computación Voluntaria
Características:
● Existencia de un “middleware” que abstrae los recursos compartidos.
● Masivamente distribuída.
● Redundante (un mismo trabajo se realiza N veces, al menos 1)
5 de 34
![Page 6: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/6.jpg)
Computación Voluntaria
Pros:
● Alto nivel de abstracción de los recursos (altamente independiente del hardware) gracias al middleware.
● Reducción de Costes (revierten en el donante).
6 de 34
![Page 7: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/7.jpg)
Computación Voluntaria
Contras:
● Gestión de recursos Heterogéneos.
● Tiempo de computación/simulación indeterminado (aunque usualmente hay un tiempo máximo).
● En general, que es “best effort”.
7 de 34
![Page 8: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/8.jpg)
Cloud
Concepto amplio que engloba la abstracción de sistemas informáticos (incluyendo sus recursos) y los presenta de una manera ubicua.
8 de 34
![Page 9: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/9.jpg)
CloudProveedores: (Públicos, Híbridos y Privados)
9 de 34
Públicos Privados
![Page 10: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/10.jpg)
Cloud
Características: (según el NIST)
● En demanda, auto servicio.● Accesible mediante redes de banda ancha.● Ofrece un “pool” de recursos.● Elástica, rápida escalabilidad.● Metrificado.
10 de 34
![Page 11: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/11.jpg)
Cloud
Tipos de Servicio (básicos, de mayor a menor nivel de abstracción):
11 de 34
Infrastructure as a Service (SaaS)
Platform as a Service (PaaS)
Software as a Service (SaaS)
![Page 12: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/12.jpg)
Cloud
Pros:
● Alta abstracción (“todo es un API”).
● Rápida escalabilidad (“commodity hardware”)
● En muchos casos reducción de costes.
12 de 34
![Page 13: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/13.jpg)
Cloud
Contras:
● “Vendor lock-in” al usar abstracciones más altas.
● Requiere de cambiar el paradigma de implementación (incluyendo desarrollo).
● Un uso incorrecto puede llevar a coste altos.
13 de 34
![Page 14: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/14.jpg)
HPC (Tradicional)
Computación realizada “in-house”: en centros de cálculo o de supercomputación.
14 de 34
![Page 15: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/15.jpg)
HPC (Tradicional)
Pros:
● Coste normalmente asumido por entidades públicas.
● Mejor conocimiento y cercanía a la infraestructura.
15 de 34
![Page 16: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/16.jpg)
HPC (Tradicional)
Contras:
● La escalabilidad es más complicada (requiere más “metal”).
● Ocupación y rápido acceso a los recursos.
16 de 34
![Page 17: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/17.jpg)
BOINC
Berkeley Open Infrastructure for Network Computing. Probablemente el middleware para computación voluntaria más conocido. Sobre el corren proyectos como SETI@home, LHC@home, Climateprediction.net ...
17 de 34
![Page 18: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/18.jpg)
BOINC
18 de 34
![Page 19: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/19.jpg)
CPDN on-demand
Climateprediction.net (CPDN) es el mayor experimento de modelado climático del mundo, gestionado por la Universidad de Oxford. El proyecto ejecuta miles de simulaciones usando computación voluntaria sobre BOINC.
19 de 34
![Page 20: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/20.jpg)
CPDN on-demand
El objetivo era dotar a CPDN de una infraestructura dinámica y fiable para poder correr simulaciones masivas en una cantidad de tiempo menor y controlada.
Para ello optamos por migrar la infraestructura al cloud (en nuestro caso AWS y Azure).
20 de 34
![Page 21: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/21.jpg)
CPDN on-demand
21 de 34
![Page 22: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/22.jpg)
CPDN on-demand
Pros:
● Usar Cloud permite saber el tipo de hardware y hacer pronósticos (entorno homogéneo).
● Usar directamente BOINC sobre el 100% de los recursos.
● Limitamos las desventajas de la computación voluntaria.
22 de 34
![Page 23: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/23.jpg)
CPDN on-demand
Algunos comentarios:
● AWS está mucho más maduro que Azure.
● Ahora la incidencia está sobre el coste de la simulación.
23 de 34
![Page 24: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/24.jpg)
Algunos datos interesantes
24 de 34
![Page 25: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/25.jpg)
WACCM sobre Google Cloud
El objetivo de este experimento (Caderno P. et al, 2016) era migrar el Whole Atmosphere Community Climate Model (WACCM) a Google Cloud y comparar su funcionamiento con la versión instalada en el Supercomputador Finisterrae.
25 de 34
![Page 26: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/26.jpg)
WACCM sobre Google Cloud
26 de 34
![Page 27: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/27.jpg)
Conclusiones sobre los experimentos en el Cloud
● El tiempo para conseguir tener una infraestructura funcionando con los modelos cae dramáticamente.
● La reproducibilidad de los experimentos es más sencilla.
● Se ha podido “jugar” con mucho más hardware y distintas variantes de configuración.
27 de 34
![Page 28: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/28.jpg)
Seguridad en el Cloud
● Existe una (falsa) percepción de que el Cloud (y los datos almacenados allí) no es segura.
● La mayoría de los proveedores cumplen con todas las normativas y certificaciones (e.g. ISO27001) no siempre disponibles en otras soluciones.
28 de 34
![Page 29: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/29.jpg)
Seguridad en el Cloud
● Es especialmente importante la integridad de los datos (entrada y salida). Blockchain es una solución tomada en cuenta para validación.
● El cloud se seguro en cuanto a reproducibilidad científica (si es usado correctamente).
29 de 34
![Page 30: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/30.jpg)
Cloud y Costes
● Los recursos computacionales en el Cloud aunque puedan resultar más económicos (si son correctamente utilizados) siguen siendo caros para algunos investigadores.
● Recursos especiales están disponibles (e.g. redes de baja latencia) pero esto aumenta los costes.
30 de 34
![Page 31: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/31.jpg)
Cloud y Costes
● Es posible (y recomendable) incluir Cloud en el “mix” si se necesitan recursos variables (y que escalen).
● Se espera un crecimiento en la financiación de proyectos científicos en el Cloud. Por ejemplo EU Horizon 2020
31 de 34
![Page 32: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/32.jpg)
Takeaways
● Tanto Computación Voluntaria como Cloud requieren de un cambio en el paradigma y en la manera de trabajar (e.g. escribir el código).
● Hay múltiples beneficios en usar una solución que mezcle las tres propuestas.
32 de 34
![Page 33: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/33.jpg)
Takeaways
● Los costes del Cloud son similares (o menores) a las solucione sobre HPC tradicional pero proponen un modelo de financiación distinto.
● El Cloud se seguro y proporciona una muy buena oportunidad para la comunidad científica.
33 de 34
![Page 34: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/34.jpg)
Takeaways
● Aún hay cierta reticencia a usar el Cloud (hay quien “no
cree en el Cloud”).
34 de 34
![Page 35: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/35.jpg)
Preguntas?
Preguntas
![Page 36: Computación Voluntaria VS Cloud VS HPCn... · independiente del hardware) gracias al middleware. Reducción de Costes (revierten en el donante). ... Mejor conocimiento y cercanía](https://reader033.fdocuments.us/reader033/viewer/2022042302/5ecd84ae891b7d33c87d08ea/html5/thumbnails/36.jpg)
Referencias
● Montes D. et al., 2017: Enabling BOINC in infrastructure as a service
cloud system, Geoscientific Model Development, 10, 811–826,.
(doi:10.5194/gmd-10-811-2017)
● Montes D. et al., 2017: Use of several Cloud Computing approaches for
climate modelling: performance, costs and opportunities. Proceedings of
the EGU2017.
● Vazquez-Caderno, P., 2015: Usage of Google Compute Engine for climate
studies with global climate models. M.S. thesis, Universidade de Santiago
de Compostela.
Referencias