All-Flash Storidžsistemi - put do•Scale-out shared data arhitektura •Primer Netapp all flash...
Transcript of All-Flash Storidžsistemi - put do•Scale-out shared data arhitektura •Primer Netapp all flash...
All-Flash Storidž sistemi - put do elektronskog datacentra
Nikola Budimir
Coming- Computer Engineering
Septembar, 2015
Sadržaj• Zašto All Flash storage
• Ograničenja magnetnih diskova
• Prednosti all flash sistema
• Performanse all flash sistema
• Tehnologije za redukciju prostora
• Mane - habanje, cena?
• Ekonomski aspekt
• Evolucija flash arhitekture
• Scale-out shared data arhitektura
• Primer Netapp all flash sistemi
• Flash arhitekturni trendovi
2
Performanse storidža Kakve probleme imamo danas?
• Pojavom magnetnih diskova vremepristupa tim diskovima je bilo jednako brzo kao brzina procesora
• Godišnji rast performansi diskova 5% a procesora 60%
• Jasno je šta je usko grlo u datacentru!
Magnetni diskovi su limitirani brzinom rotacije i vremenom pristupa (ms) dok se kompjuterski ciklusi mere u ns
Nema mnogo prostora za povećanje performansi magnetnih diskova
Tradicionalni storidž sistemi problem performasi rešavaju razvijanjem kompleksnih algoritama koji povećavaju verovatnoću da se podatak za aplikaciju nalazu u DRAM-u koji štite baterije-smanjivanjelatencije
dodavanjem novih diskova (kapaciteta)-povećanje IOPS-a
Sve te tehnologije ne pomažu uvek aplikacijama
Krajnji rezultat: današnje aplikacije su zavisne od kompleksnog infrastrukturnog softvera koji treba da premosti sve veću razliku u performansama procesora i storidža
Ograničenja tradicionalnih storidž sistema
Rešenje za premošćavanje razlika u performansama• All flash sistemi rešavaju problem performansi
Prednosti:
Mane:
5
Performanse: IOPS-i & Latencija (vreme pristupa)
Latency
How fast is your drink
delivered to your table
Table = Server
Cup Bearer
CDU = Central Drink Unit
IOPS
Amount of drinks per hour
Latencija kod storidž sistema
Roughly 30% of data center power and cooling costs are from storage Flash is more power efficient1
Lower power and cooling costs
Flash is more efficient Lower rack space requirements for the same or higher performance
SSD HDD
Idling Power Watts 0.5 6.8
Load Power Watts 0.9 10.1
Flash efikasno koristi struju i prostor u datacentru
Tehnologije koje su prisutne već dugo vremena na microsoft PC, i netapp storidžu
Danas prisutne kod većine storidž vendora
Deduplikacija i kompresija dovode do manje količine podataka koji će biti upisani- ali
Vode u fragmentacuiju i prave kompleksne lance i metadata podatke kojima se teško upravlja na sporim diskovima
Diskovi imaju malu gustinu pristupa,deduplicirani i komprimovani podaci imaju lošije performanse
Storidž kontroler overhed zbog procesiranja i menadžmenta redukcijom podataka
Flash može tehnologije za redukciju podataka da podrži kao standard
Deduplikacija i kompresija - tehnologije za redukciju podataka
Da li ima razloga za zabrinutost?
Mane - Habanje diskova (wearing)
Šta prouzrokuje habanje flash-a?
Flash Device
Comprised of billions or trillions of transistors (cells)
Each transistor 1000x thinner than a human hair
4KB 32,768 cells*
Floating Gate
An area within a cell insulated by an oxide layer which
allows the transistor to hold it’s charge for years
This difference in charge is interpreted as a bit (0 or 1)*
e- e-
e- e-
e-
e-
0 0 01 1
CellFloating
Gate
Flash Wear
When a flash cell is written to it’s ability to hold a stable
charge is slightly reduced because the oxide layer in the
cell is eroded by the insert of the charge
Flash wear (endurance) is measured in drive writes per day (DWPD)
How often the entire capacity of the drive can be written per day over the warranty lifetime
Based on a worst case scenario, nonstop 100% random write workload
Kako merimo habanje Flash-a?
Da li ću pohabati flash?
• Unconditional warranty up to 5 years• 3 years standard, upgradable to 5 years
• Life expectancy well over 5 years
NE!12x1.6 TB
~30TB written per day 3 DWPD*
*parity write overhead included
Estimated Lifetime (Years)
64kb_seq_wr 7.75
4kb_rnd_7030 8.57
8kb_rnd_6030 9.97
Real World Customer Example on Write Endurance• 1900 SSDs spread over 56 controllers
• SSD only aggregates with high write percentage (radar and satellite data)
• In production since 2010
• German weather services – real time weather visualization
Life expectancy of SSDs well beyond 5 yearsBenefit
storage show disk –a
...
Rated life used: 1 %
Spare blocks consumed: 21 %
...
Rated life used: 1 %
Spare blocks consumed: 27 %
...
Rated life used: 1 %
Spare blocks consumed: 14 %
...
Spare blocks consumed <30%
NetApp SSD shelves shortened the time to display current weather conditions from 10-15 seconds down to 1 second
Zaključak
• Wear leveling software napredovao dramatično, i nastavlja da se razvija
• SSD se nudi sa većom garancijom nego diskovi 5-10god.
• očekuje se da raste i dalje
• Flash wear može da se monitoriše
• Flash diskovi su mnogo pouzdaniji od magnetnih diskova i nastavljaju da povećavaju svoju pouzdanost
• Cena održavanja magnetnih diskova je 18% godišnje cene akvizicije
• Za flash je 10% i očekuje se da padne još
• Migracija sa disk array-a na drugi disk array meri se mesecima
• Kod flash-a se meri u satima
All Flash Storage- Projekcija cena
Flash - polako postaje najjeftiniji medijum od 2016.
Ekonomski pokretači za razvoj Flash tehnologija• Potrošači (consumer market)
• Apple iPod septembar 2005, ARM chip tehnologija
• EMC 2008, SSD diskovi
• Mobilni uređaji, flash i ARM
• iPod uvodi cloud service u ponudu (kapacitet postaje irelevantan) septembar 2014
• Flash tehnologija se razvijala brže nego što to definiše
Moor-ov zakon (broj tranzistora se svake 2 godine udvostručuje)
Evolucija Flash arhitektura
1. Eksploatacija postojećih sistema sa SSD diskovima
EMC početkom 2008 uveo prvi SSD disk
2. Hibridne arhitekture
smanjeno prosečno kašnjenje, osnova i dalje HDD
3. All flash array na tradicionalni dvokontrolerskim sistemima
od prostih brzih IBM FlashSystems do sofisticiranih PureStorage
4. Scale-out shared data Arhitekture
Scale-out shared data Arhitekture - ključni atributi
1. ScalabilnostMora da prevaziđe granice dual controlera
Mora da omogući pristup svih nodova svim metadata podacima
2. Conzistentna latencija
3. Napredne snapshot tehnologije
4. Napredne QoS tehnologije
Ovakav storidž array 4. generacije je osnova za elektronski datacentar
All-Flash FAS All-Flash FAS All-Flash FAS
All-Flash FAS
Primer skalabilnosti
21
Scale Out by Adding Controllers(Maximum 24 Controllers)
>4 million IOPS and nearly 5PB of all-flash capacity
Scale Up Individual Controllers
NetApp® all-flash FAS: Scalable high performance for dedicated workloads
All-Flash FAS
Mixed all-flash and hybrid FAS: One storage repository for all workloads
All-Flash FAS Hybrid FAS
Hybrid FAS
All-Flash Storidž
All-flash arrays
• Deploy all-flash for performance driven applications
• Consistency in application performance
• Predictable ultra-low latencies
• Extreme IOPS and throughput
• Lowest opex
All-Flash
All-Flash FAS:
Hardware architecture designed for performance• Up to 40 CPU cores and I/O-optimized hardware move data more quickly
• Larger memory stores enable faster response times
• Storage controllers handle routine SSD tasks and eliminate overhead
Data ONTAP® optimized for flash• Parallel threading of I/O lets you handle more requests at once
• In-memory write coalescing limits SSD wear
• Read-ahead pulls data into memory for fastest access
Storage efficiency• Inline compression reduces wear on flash
• Data reduction technologies enable up to 5x–10x and higher space savings*
• Advanced SSD partitioning further increases usable/effective capacity
24* Depending on use cases and workloads.
Fleksibilne opcije za sve ukuse i potrebe
25
All-flash FAS cluster
Scale-out performance and capacity
Up to 24 nodes and nearly 5PB
NetApp® all-flash FAS HA pair
Performance for dedicated workload
All-flash FAS and hybrid FAS nodes in cluster
Leverage all-flash FAS for high-performance nodes
Transparently balance workloads between all-flash and hybrid nodes as requirements change
All-Flash FAS All-Flash FAS All-Flash FAS
All-Flash FAS
All-Flash FAS
Hybrid FAS Hybrid FAS
Svaki FAS može biti All-Flash FAS• To be an all-flash FAS, you need:
• FAS
• SSD shelves
• No HDDs or array LUNs
FAS8040FAS8020 FAS8060
FAS/V6220FAS/V3220 FAS/V3250FAS2240FAS2220 FAS/V6250 FAS/V6290
FAS8080 EXFAS2500
Flash arhitekturni trendovi
Server SAN Arhitekture
• Približavanje storidža serverskom sloju
• Softverski definisan storidž na komoditi serverima - VMware VSAN
• High pefromance subnet
• RDMA (Remote Direct Memory Access) over Infiniband p2p network
• Atomic Writes – omogućava da Flash postaje ekstenzija DRAM-a
Hvala!