Primjena EGI FedCloud-a u digitalnoj humanistici · 2016. 5. 25. · EGI-Engage is co-funded by the...

www.egi.eu

EGI-Engage is co-funded by the Horizon 2020 Framework Programme

of the European Union under grant number 654142

Centar za informatiku i računarstvo

Institut Ruđer Bošković

Primjena EGI FedCloud-a u digitalnoj

humanistici

Davor Davidović

25/25/2016

Digitalna humanistika

Dani e-infrastrukture, SRCE, 23-25.05.2016.

analiza

PretraživanjePregledPristupAnotacijaArhiviranje

35/25/2016

Digitalna humanistika - potrebe

1. Podatkovni i spremišni kapaciteti

– Digitalni repozitoriji i arhivi

– Dugotrajna pohrana

2. Računalni resursi

3. Jednostavnost pristupa (single-sign-on)

‒ npr. DARIAH IdP, eduGain

4. Edukacija iz područja primjene IT tehnologija


45/25/2016

Digitalna humanistika - stanje

• Heterogeni resursi:

– Lokalni, institucionalni, nacionalni, javni, različita prava i

načini pristupa,…

– Projektno ograničeni resursi – održivost?

• Ograničen pristup i iskorištenost cloud-a

– Nacionalni pružatelji (npr. DARIAH-DE)

– EGI FedCloud – mali broj dostupnih servisa i aplikacija

unutar EGI Application Database-a

– Ne postoji VO za humanistiku


55/25/2016

Što EGI FedCloud nudi?


Računalni resursi

Podatkovni resursi

Predefinirane aplikacije

Tehnička potpora

Bazični servisi:AAI, monitoring, service registry

65/25/2016

Projekti – EGI-Engage

• EGI-Engage H2020– 03.2015. – 08.2017.

– SRCE & IRB

• DARIAH Competence Centre– Približiti EGI cloud DARIAH zajednici kroz:

• Bolju suradnju između EGI i DARIAH-a

• Razvoj novih cloud servisa i aplikacija prilagođenih ciljanim grupama unutar DARIAH-a

• Pristup EGI FedCloud

• Tehničku podršku

– 6 partnerskih institucija


75/25/2016

Dostupni FedCloud resursi

• Virtualna organizacija: vo.dariah.eu

EGI Conference 6-8 April 2016

GWDG (DE)

SRCE (CRO)

MTA SZTAKI (HU)

INFN-Catania (IT)

INFN-Bari (IT)

VCPU 30

Memorija 70 GB

Podatkovni prostor

2 TB

85/25/2016

Projekti – Indigo-DataCloud

• INtegrating Distributed data Infrastructures for

Global ExplOitation

– 04.2015. – 09.2017.

– Cilj: razviti održivo PaaS Cloud rješenje za e-Science

– 26 partnera, 11 država

– Uključeno 11 znanstvenih zajednica


105/25/2016

Model korištenja FedCloud-a u DH


Federated DARIAH resourcesAAI

EGI FedCloud infrastructure

DARIAH Virtual Organisatione-Infrastructure

DARIAH Science Gateways

WS-PGRADECDSTARTechnologies

Outreach, training, user support

Community

Apps.

and

services

Multi-Source Distributed Real-Time Search and Information Retrieval

application

Bavarian dialects dataset

New DARIAH applications and datasets

SemanticSearch Engine

Trainingplatform

EGI AppDB

115/25/2016

gLibrary (INFN)

• Digitalni repozitorij za DARIAH


Local DB

for repo

eToken

service

glibrary.ct.infn.it

User

Tracking

DB

Local storage

Grid storage

Cloud Storage

SQL and/or

NoSQL DBs

REST

API

Front ends

Science Gateway

Call gLibrary REST API through

API Server Gateway

Auth

N/ A

uth

Z

Authorization

service

125/25/2016

Primjer

• Repozitorij Bavarskih dialekata (INFN, AAS)

• Početno stanje:

– Zapisi u MySQL bazi bez meta-podataka

– Baze na različitim serverima

– Različiti formati zapisa

• Cloud repozitorij (gLibrary)

– Cloud storage (back-end pohrana podataka),

– Mogućnost pretraživanja, pregleda i organiziranja

– Replikacija podataka između različitih podatkovnih

sjedišta


135/25/2016

Parallel Semantic Search Engine

http://csgf.egi.eu/dariah-sse-parallel


145/25/2016

Parallel Semantic Search Engine

• Trenutno podržani repozitoriji

– OpenAgris, Europeana, Cultura Italia, Isidore, Pubmed

and DBPEdia

• Prednosti:

– Mogućnost pretraživanja postojećih DH repozitorija

– Otkrivanje novih poveznica (semantička pretraga)

– Vizualizacija dobivenih rješenja


155/25/2016

CDSTAR (GWDG)

• CDSTAR – Common Data Storage Architecture

– Platforma za objektno orijentirano spremanje podataka

– Mogućnost prilagodbe različitim tipovima podataka i

zahtjevima korisnika

– Koristi se u DARIAH zajednici, ali dostupno samo

unutar DARIAH-DE (kao Cloud servis)

– DARIAH Storage API

– SaaS

• Cilj: proširiti funkcionalnost i učiniti dostupnim

cijeloj DARIAH zajednici FedCloud


165/25/2016

Primjer OCR aplikacija (GWDG)

• Cilj: Digitalizirati veći broj skeniranih ili slikanih

dokumenata uz mogućnost pretraživanja

• Temelji se na CDSTAR tehnologiji za pohranu i

obradu podataka

• OCR Big Data problem

– MapReduce model paralelizacije

– Instanca MapReduce clustera u cloudu?

• SaaS – moguća instalacija na bilo koji cloud site

– Mogućnost prilagodbe specifičnim DH potrebama


175/25/2016

Primjer: OCR aplikacija (GWDG)


…

…

ES-P

lugi

n

search engine

clusterPl

ugin

Analytics Plattform

(e.g.. Hadoop, InfluxDB)

2

Storage-Instance

object storage

Recovery Tool

4

5

Advanced Query Hub

Presentation Layer

6

7Web API

for third party

queries

OCRRE

ST in

terf

ace

GWDG

CDS

TAR

Engi

neETL-Ingester

ETL-Ingester

ETL-Ingester

1

1

1

High speed rebuild ofsearch indexes and

databases fromcaches (optional)

CDSTAR storage usedas cache for ETL-processed data

Web APIAccess

3

green = to be build for SIR

4

Direct nativehighspeed access

185/25/2016

Indigo podatkovni repozitorij

• Platforma za brzo i jednostavno stvaranje vlastitih

repozitorija

– Integrati dostupna Open Access rješenja: Invenio,

ePrints, Islandora (dockerizacija)

• Zašto?

– Cloud nudi resurse, ali je instalacija dugotraja i nadilazi

mogućnosti krajnjeg korisnika!

• INDIGO-DataCloud rješenje – neovisno o Cloud

provideru

– OneData storage solution


195/25/2016

Repozitorij za DARIAH


Dockerfile

build/push

OneDock

205/25/2016

Znanstveni portal za DARIAH (SZTAKI)

• Temeljen na WS-PGRADE portalu

• Ideja: centralni pristup Cloud resursima

(vo.dariah.eu) i aplikacijama/servisima

• Robot certifikat + user sub-proxy


• Prijava uz postojeći

DARIAH AAI

215/25/2016

Znanstveni portal za DARIAH (shema)

• Krajnji korisnik

pristupa

aplikaciji i

konfigurira svoj

problem putem

web preglednika

• Portal pokreće

aplikaciju na EGI

FedCloudu


DARIAH Science Gateway

DCI Bridge

PSSE

Portlet

OCR

Portlet

gLibrary

Portlet

APP

Portlet

APP

Portlet

EGI FedCloud

H2020 READKorisnik

225/25/2016

Prednosti EGI FedClouda u humanistici?

• Dostupnost resursa, konfigurabilnost

• Aplikacije prilagođene specifičnim potrebama

korisnika

– Neovisne o arhitekturi, jednostavna migracija

• Mogućnost korištenje znanstvenih portala

– Korisnici ne žele ili nemaju vremena učiti o naprednom

korištenju cloud-a (komandna linija)

– Nema “petljanja” s korisničkim certifikatima (robot cert)

– Jednostavno korištenje resursa (npr. access.egi.eu)


www.egi.eu

Hvala na pažnji.

Pitanja?

This work by Parties of the EGI-Engage Consortium is licensed under a

Creative Commons Attribution 4.0 International License.

http://creativecommons.org/licenses/by/4.0/

245/25/2016

EGI Services

• EGI Application Database– A list of pre-defined images with specific DH

applications/services + portlets in DH gateway

– Benefits for DARIAH:• Reproducibility of research, easy adding of new applications,

hiding implementation details

– WG Visual Media for Digital Humanities, WG Text and Data Analysis

• EGI Training Marketplace

– Offers training infrastructure and materials

– Benefits:• East setup of training events (training materials, software, etc…)

• Record and share training event

– WG Training and Education


Primjena EGI FedCloud-a u digitalnoj humanistici · 2016. 5. 25. · EGI-Engage is co-funded by the...

Documents

Transcript of Primjena EGI FedCloud-a u digitalnoj humanistici · 2016. 5. 25. · EGI-Engage is co-funded by the...