Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25...

21
Flash, NVME, мультиоблака – технологии будущего в реальности Роман Козлов Системный инженер

Transcript of Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25...

Page 1: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Flash, NVME, мультиоблака –технологии будущего в реальности

Роман КозловСистемный инженер

Page 2: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Flash NVME

Облака Гиперконвергенция

Pay as you Go

.. as a service

Page 3: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

3

NVME, шаг 1: носители

▪ NVMe полезен для NAND SSD, для SCM – практически обязателен

~ 10 ms

~ 25 µs

~ 10 µs

HDD

~ 80 µs

~ 20 µs

~ 10 µs

SAS TLC NAND SSD

~ 80 µs

~ 5 µs

NVME TLC NAND SSD

~ 2 µs~ 5 µs

NVME SCM SSD

Drive Latency

I/O Controller Latency

Software Latency

3

Page 4: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

NVME, шаг 2: переход к NVMe over Fabric

SCSI NVMe

iSCSIFC FCoE FC InfiniBand RoCE iWARP TCP

NVMe over Fabrics

4

Page 5: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Решения NetApp NVMe

Linux Host

NVMeDriver

NVMe over InfiniBand Front-end

NVMe Subsystem

Back-end SCSI

NVMe-to-SCSI Bridge

NetApp® EF570

Linux Host

NVMeDriver

FC-SCSI

NVMe over FC Fabrics

FC Transport

Front-end NVMe

Subsystem

FC-SCSI

NVMe

SCSI to NVMe

NetApp WAFL®

Back-end

NVMeNetApp AFF A320/A800

5

Linux Host

NVMeDriver

FC-SCSI

NVMe over FC Fabrics

FC Transport

Front-end NVMe

Subsystem

FC-SCSI

NVMe to SCSI

Back-end

SCSI

NetApp AFF A700 / A700s / A300

NetApp WAFL®

SCSI

NVMe over Ethernet

Page 6: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

6

32Gb / 2 or 4-port Adapter

Emulex Gen6 FC HBAs by Broadcom

Brocade G5/G6

NetApp A300/A320/A700/A700s/A800

+ +

NVMe over Fibre Channel

RHEL, SUSE, Windows, Vmware

+

Modern Server OS

FC

Header FC Frame SCSI-3

CommandData

FC

Header FC Frame NVMe

CommandData

Replaced

Page 7: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

NVMe over Fibre Channel

7

Legend

Active Optimized

SUSE Enterprise Linux 15, RHEL, Windows, Vmware

Fabric A Fabric B

NVMe Namespace-1

Multipath IO with NVMe/FC for Enterprise apps

Active Non-Optimized

Inactive path

Page 8: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

8

FC NVMe/FC

LUN Namespace

WWPN NQN

igroup Subsystem

ALUA ANA*

Учим новые слова: NVMe и Fiber Channel (NVMe/FC)

Page 9: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Ускорение с NVMe over FC

9

Storage

Server

NVMe over Fabrics

FC

FCP

50% увеличение IOPS

~80 µS снижение латентности

IOPS / FC порт

3x

IOPS / LUN

8xNVMe/FC

Page 10: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

10

Сравнение производительности NVMe over FC / FC

0.00

0.20

0.40

0.60

0.80

1.00

1.20

0 100 200 300 400 500 600 700 800

Serv

er

Read

Late

ncy (

ms)

Total Physical IO Requests per Second (K ops)

FCP - 75% read/25% update

FC-NVMe - 75% read/25% update

A700s Oracle 12c SLOB (результаты приведены для 1 контроллера)

Page 11: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

11

Сравнение производительности NVMe over FC / FC AFF A800

Page 12: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Решения NetApp NVME end-to-end

12

44 45 46 4742 4340 4136 37 38 3934 3532 3328 29 30 3126 2724 25

20 21 22 2318 1916 1712 13 14 1510 118 94 5 6 72 30 1

Лидирующие позиции в All Flash решениях

AFF A320512GB memory

40 CPU cores

AFF A8001280GB memory

72 CPU cores

NS224 shelfRDMA over RoCE / 4x100GbE

Page 13: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

SSDs attached via NVMe

А что в будущем?Optane, ZSSD, …. ?

Persistent Memory (PMEM)NetApp® MAXData

Storage-Class Memory (SCM) as Cache

StorageCPU

ServerCPU

NVMe over Fabrics

RNIC

–OR–

RNIC

–OR–

HBA/ HCA

HBA/HCA

Unreleased product plans are subject to change

FC, InfiniBand, RoCEFC, InfiniBandFC

HBAHBAHBA HBA

FC

13

Возможное увеличение производительности от 30 до 300%

Page 14: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

MAX Data

ТУРБО-КНОПКА ДЛЯ ПРИЛОЖЕНИЙ

✓ Не требует переписывания кода

✓ Улучшает время отклика и IOPS

✓ Защищает данные

✓ Использует возможности NetApp®

ONTAP ®

14

Page 15: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Архитектура MAX Data крупным планом

▪ MAX Data работает на сервере

▪ MAX Data использует PMEM или DRAM, установленные в сервере приложений

▪ ФС, оптимизированная для работы в памяти, обеспечивает быстрый отклик, а емкость обеспечивает All Flash СХД

▪ MAX FS располагается как в памяти, так и на СХД

▪ Возможности контроля за данными

(ONTAP® integration)

▪ Сверхнизкая задержка изащита/восстановление приложений

Storage Tier Persistent Memory Tier

MAX FS

LUN

LUN

Red Hat 7.5+ / CentOS 7.5+Bare metal / Vmware guest OS

MAX Data Server

iSC

SI /

FC

PS3

FabricPoolCold Data (опционально)

15

Page 16: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

MAX Recovery – защита данных

Storage Tier Persistent Memory Tier

MAX FS

LUN

LUN

Red Hat 7.5+ / CentOS 7.5+

MAX Data Server

iSC

SI

/ F

CP

Persistent Memory Tier

MAX FS

MAX Recovery Server40GbE or

25/50/100GbE

RDMA

• Технология защиты MAX Recovery может реплицировать память между серверами MAX Data Server и MAX Recovery

• MAX Recovery снижает время восстановления до минут.

• 4 MAX Data сервера могут реплицироваться на пятый сервер, выделенный для MAX Recovery.

16

Page 17: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

17

Быстродействие MAX Data в Oracle – A220

▪ MAX Data обеспечивает 2-x кратный рост IOPS

▪ Cнижает латентность в 16 раз и более

Datafiles

MAX FS

DCPMM

1250 GB

LUNs

8TB

5TB Oracle DB 18c

Задержки IOPS

MAX Data ~50us ~430K

ONTAP FCP ~810us ~205K

Ускорение ~16X ~ 2X

Logfiles

MAX FS

DCPMM

250 GB

LUNs

2 TB

AFF A220 16GB FC (ASM w/o MAX Data)

Lenovo SR650

Intel SP 8280M

1.5TB Optane DCPMM

Oracle 18c - 5TB DB (2 - 650GB Users)

SLOB2

Page 18: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

MAX Data - управление снэпшотами

1. Снэпшот MAX FS

2. Принудительный сброс всех данных

PMEM на ONTAP®

3. Все метаданные из памяти также копируются на ONTAP

4. Выполнение команды NetApp ONTAP Snapshot

Storage Tier Persistent Memory Tier

MAX FS

LUN

LUN

Red Hat 7.5 / CentOS 7.5

MAX Data Server

LUNSnapMirror® to DR

Snapshot

1

2

3

4

iSC

SI

/ F

CP

18

Page 19: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

FabricPool

С FP

▪ Автоматический тиринг по S3 в

- NetApp StorageGrid

- Amazon S3, Microsoft Azure Blob Storage, AliBaba Cloud, IBM Cloud, Google Cloud

▪ Простое управление

▪ Перемещение данных прозрачно для пользователя

▪ Снижение TCO

On-P

rem

ises F

ootp

rint

FabricPool

Inactive

Data

Object StorageP

erfo

rma

nce

T

ier

Clo

ud

Tie

r

80%

Без FPАктивные данные

«Холодные» данные

19

Экономия за счет переноса «холодных» данных

Page 20: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

20

AFF

SnapMirror

NPS

HCI

FAS

PublicCloud

Amazon S3

Azure Blob StorageFabricPool

Page 21: Flash, NVME, мультиоблака– технологии будущего в · ~ 10 ms ~ 25 µs ~ 10 µs HDD ~ 80 µs ~ 20 µs ~ 10 µs SAS TLC NAND SSD ~ 80 µs ~ 5 µs NVME

Вопросы?