UGent Datacenter of waarom we 140TB kopen

63
UGent Datacenter of waarom we 140TB kopen...

description

VLENGEL meeting

Transcript of UGent Datacenter of waarom we 140TB kopen

Page 1: UGent Datacenter of waarom we 140TB kopen

UGent Datacenterof waarom we 140TB kopen...

Page 2: UGent Datacenter of waarom we 140TB kopen
Page 3: UGent Datacenter of waarom we 140TB kopen

300.000 volumes...

Page 4: UGent Datacenter of waarom we 140TB kopen
Page 5: UGent Datacenter of waarom we 140TB kopen

140.000 volumes...

Page 6: UGent Datacenter of waarom we 140TB kopen
Page 7: UGent Datacenter of waarom we 140TB kopen

70.000 objects...

Page 8: UGent Datacenter of waarom we 140TB kopen
Page 9: UGent Datacenter of waarom we 140TB kopen

12.500 full-text documenten

Page 10: UGent Datacenter of waarom we 140TB kopen

Storage requirements

Page 11: UGent Datacenter of waarom we 140TB kopen

Storage requirements

Page 12: UGent Datacenter of waarom we 140TB kopen

Ideaal Model

Page 13: UGent Datacenter of waarom we 140TB kopen

Ideaal Model

Page 14: UGent Datacenter of waarom we 140TB kopen

Observaties

Ideaal Model

Page 15: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Ideaal Model

Page 16: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Hypothese

Ideaal Model

Page 17: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Hypothese

Test

Ideaal Model

Page 18: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Hypothese

Test

Ideaal Model

Page 19: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Hypothese

Test

Paper

Annex

Ideaal Model

Page 20: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Hypothese

Test

Paper

AnnexBibliotheek

Ideaal Model

Page 21: UGent Datacenter of waarom we 140TB kopen

Observaties Ruwe Data

Hypothese

Test

Paper

AnnexBibliotheek

Ideaal Model

Page 22: UGent Datacenter of waarom we 140TB kopen

Observaties

Hypothese

Paper

Ruwe DataTest

AnnexBibliotheek

Praktijk

Page 23: UGent Datacenter of waarom we 140TB kopen

Observaties

Hypothese

Paper

Ruwe DataTest

AnnexBibliotheek

Praktijk

Page 24: UGent Datacenter of waarom we 140TB kopen

Observaties

Hypothese

PaperBibliotheek

Praktijk

Page 25: UGent Datacenter of waarom we 140TB kopen

Karen Van Godtsenhoven, Mikael Karstensen Elbæk, Gert Schmeltz Pedersen, Barbara Sierman, Magchiel Bijsterbosch, Patrick Hochstenbach, Rosemary Russell, Maurice Vanderfeesten

Emerging standards for enhanced publications and repository technology : survey on technology

Amsterdam University Press 2009 ISBN 9789089641892

Page 26: UGent Datacenter of waarom we 140TB kopen

(Meta)datastandaarden voor digitale archieven

UGent MMLab & Universiteitsbibliotheek Gent 2009 ISBN 9789052230009

Paul Bastijns, Sam Coppens, Siska Corneillie, Patrick Hochstenbach, Erik Mannens, Liesbeth Van Melle

Page 27: UGent Datacenter of waarom we 140TB kopen

Institutional Repository

• 150.530 bibliografische beschrijvingen

• 12.413 flagged full-text available

• 50 bestandtypes

• 94.3% .PDF , 2.7% .DOC

• 3% .ZIP .JPG .TEX + 46 others

• 1-2 bestanden per beschrijving

Page 28: UGent Datacenter of waarom we 140TB kopen

ETD’s

• 6.336 bibliografische beschrijvingen

• 1.370 flagged full-text available

• 1.180 bestandtypes

• PDF , DOC, TXT, XLS, ACC, TIF, JPG, EXE, CLASS,...

• 1 - 10.000 bestanden per beschrijving

Page 29: UGent Datacenter of waarom we 140TB kopen

Bit$Errors/Bugs$File$Formaat$Wijzigingen$

Tijd$

Technologie$Shi:$

Organisatorische$wijzigingen$

Formaat$Interpreta?es$

1980% 1990% 2000%

Risico’s

Page 30: UGent Datacenter of waarom we 140TB kopen

Repository

Lib Catalog

Aleph

Archive System

?ICA-Atom?

Discovery

Meercat

Preservation

Waalse K

rook

IngestWorkflow

???

IR

Biblio

LMS

Minerva

Scanning

Digital LibrarySources LTP

Page 31: UGent Datacenter of waarom we 140TB kopen

Catmandu [Gent|Lund|Bielefeld Perl Framework]

FedoraCommons

SOLR ActiveMQ

NetAppAmazon.com

S3

GREP

Page 32: UGent Datacenter of waarom we 140TB kopen

• Sinds Mei 2010 operationeel

• ~ 200.000 objecten

• ~ 50.000.000 bestanden

• 1.200 bestandtypes

• Kleinste object: 10 KB

• Grootste object: 250GB

• 8.3 TB in ingested

• 2.0 TB in queue + ( >> TB Google Books)

• 100.000 paginaviews per jaar (via Meercat)

Page 33: UGent Datacenter of waarom we 140TB kopen

Demo

Page 34: UGent Datacenter of waarom we 140TB kopen

Ingest

Page 35: UGent Datacenter of waarom we 140TB kopen
Page 36: UGent Datacenter of waarom we 140TB kopen
Page 37: UGent Datacenter of waarom we 140TB kopen
Page 38: UGent Datacenter of waarom we 140TB kopen
Page 39: UGent Datacenter of waarom we 140TB kopen
Page 40: UGent Datacenter of waarom we 140TB kopen
Page 41: UGent Datacenter of waarom we 140TB kopen
Page 42: UGent Datacenter of waarom we 140TB kopen
Page 43: UGent Datacenter of waarom we 140TB kopen
Page 44: UGent Datacenter of waarom we 140TB kopen
Page 45: UGent Datacenter of waarom we 140TB kopen

Automatic Aleph Import

Page 46: UGent Datacenter of waarom we 140TB kopen
Page 47: UGent Datacenter of waarom we 140TB kopen
Page 48: UGent Datacenter of waarom we 140TB kopen
Page 49: UGent Datacenter of waarom we 140TB kopen

Access

Page 50: UGent Datacenter of waarom we 140TB kopen
Page 51: UGent Datacenter of waarom we 140TB kopen
Page 52: UGent Datacenter of waarom we 140TB kopen
Page 53: UGent Datacenter of waarom we 140TB kopen
Page 54: UGent Datacenter of waarom we 140TB kopen
Page 55: UGent Datacenter of waarom we 140TB kopen
Page 56: UGent Datacenter of waarom we 140TB kopen
Page 57: UGent Datacenter of waarom we 140TB kopen
Page 58: UGent Datacenter of waarom we 140TB kopen
Page 59: UGent Datacenter of waarom we 140TB kopen
Page 60: UGent Datacenter of waarom we 140TB kopen
Page 61: UGent Datacenter of waarom we 140TB kopen
Page 62: UGent Datacenter of waarom we 140TB kopen
Page 63: UGent Datacenter of waarom we 140TB kopen

OAI-PMHSPARQL

RESTSOAP