Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Post on 10-Jun-2015

766 views 0 download

Tags:

Transcript of Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

over Hyves

• Nederlands Social Network

• Opgericht in 2004

doel en nut van Hyves:

• Communicatie

• Identiteit

• Applicaties

• Lokale relevantie

statistieken:

• 6.7 B pageviews/m

• 7.2 M unieke bezoekers/m

• 1 B foto’s

• 1 M foto uploads/dag

• 2 B berichten

tekst

over Hyves

Hyves en foto’s

design criteria

gebruiks criteria

bestanden

1. schaalbaarheid

2. performance

3. prijs

probleemstelling

Hyves oplossing

a brick

media

uploaders

web

servers

media

index

bricks

bricks

bricks

bricks

1

2

3

2

1

3

4

media design

tooling

prijs

schaalbaarheid

performance

prijs

checklist

Mediaindex te groot

Grotere disks kunnen niet optimaal worden ingezet

IP adressen zijn schaars

Bricks schalen lineair

nieuwe uitdagingen

1. mediaindex

2. disk grootte

3. lineaire groei

4. schaarste IP

probleemstelling

MEDIAINDEX

mediaindex

Per bestand hebben we nu zo’n 6 IO operaties

nodig

We ontwerpen nu een systeem dat maar 1 IOo

per bestand nodig heeft

Voordelen:

~6 keer grotere disks mogelijk met de zelfde rpm

~6 keer minder bricks nodig

~6 keer minder disk failures

~6 keer minder offloads (en dus minder

mankracht)

diskgrootte

web

serversmedia

index

bricks

bricks

bricks

2

1

3

4media

routers

5

mediarouter

Wij hebben een kostenefficiente, schaalbare oplossing ontwikkeld die is

toegespitst op onze specifieke problematiek

Oplossing vergt aanpassingen en werk aan de programmatuur

Elke oplossing heeft weer nieuwe grenzen

samenvatting

Vragen?

Cor Cornelisse cor@hyves.nl & Bo Roos Lindgreen bo@hyves.nl

vragen