Cleversafe, Inc. All rights reserved. 1 - IBM...IBM Cleversafe Object Storage «Хранить...
Transcript of Cleversafe, Inc. All rights reserved. 1 - IBM...IBM Cleversafe Object Storage «Хранить...
1 Cleversafe, Inc. All rights reserved.
2 Cleversafe, Inc. All rights reserved.
IBM Cleversafe Object Storage
«Хранить все и по-возможности вечно»
Агеев Дмитрий Руководитель отдела технических решений
департамента систем хранения
3 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Объем данных растет... Но каких?
0
20
40
60
80
100
120
2009 2010 2011 2012 2013 2014 2015 2016 2017
Неструктурированные данные
Структурированные данные
Рост объема неструктурированных
данных составляет
60–80% в год
Экс
аба
йты
Gartner считает, что уже к 2019, 70% существующих СХД будут представлены в
«software only” виде
Согласно Gartner к 2020 70%-80% всех неструктурированных данных будет
храниться в менее дорогостоящих (чем классические решения) SDS решениях
4 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Объектное хранение данных
|
Объект – возможности роста данных
практически неограниченные, управление
происходит с помощью ПРИЛОЖЕНИЙ
0
50
100
150
200
250
2012 2013 2014 2015 2016 2017 2018
File-based software, appliances, and gateways
Object-based software and appliances (includes self-built/SaaS/cloud NAS)
IDC: Прогноз роста
файловых и объектных
систем хранения данных
2014–2018 (EB)
Объектное хранение данных идеально для тех
организаций, которые ищут экономически
эффективное решение для хранения
неструктурированных данных
Объектное хранение не имеет ограничений
файловых систем, масштабирование и рост не
являются проблемой
Для приложений, разработанных для облачной
инфраструктуры, объектное хранение – единственный
способ хранения неструктурированных данных
Файл – высокие возможности роста данных,
управление происходит операционной
системой, в частности ФАЙЛОВОЙ
СИСТЕМОЙ
5 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Как это работает?
Блочный доступ
Объектное хранение
NAS
6 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Как эффективно хранить 1PB данных?
Основной ЦОД
1.2PB Зеркало
1.2PB
Удаленная копия
1.2PB
1 PB
3.6 PB
900
3.6x
3.6x
3 FTE
Replication/backup
Полезная емкость
«Сырая» емкость
Количество 4TB дисков
Количество стоек
Занимаемое пространство
ИТ-персонал
Дополнительное ПО и лицензии
567 TB Raw
567 TB Raw
567 TB Raw
RAID 6 + Replication Cleversafe®
1 PB
1.7 PB
432
1.7x
1.7x
0.5 FTE
Нет
Снижение
ТСО
70%+
7 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Cleversafe – это...
Cleversafe не предназначен для:
требовательных к IOPS нагрузок
транзакционных и аналитических задач
1. Хорошо масштабируемая Внедрены решения более 100PB, возможность роста до эксабайт и выше
2. Экономически эффективная Сокращение стоимости владения на СХД до 80%, оплата только той емкости, которая требуется
5. С высочайшей доступностью
и надежностью Данные распределены между множеством
устройств (в т.ч. географически) для защиты
от многочисленных сбоев 3. Использует открытые API Доступ к данным через AWS S3 и/или
OpenStack Swift и/или Simple Object
4. Безопасная на
корпоративного уровня AES-шифрование данных и трафика (TSL,
SSL, SNMPv3)
платформа для объектного хранения данных
8 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Экономическая эффективность
$0
$2 000 000
$4 000 000
$6 000 000
$8 000 000
$10 000 000
480 TB 960 TB 1920 TB 3840 TB
S3
dsNet
Сравнение ТСО за 5 лет
Основано на ценах и скидка, опубликованных
Amazon S3
Сравнение $/TB
Основано на расчетах из проекта
Затраты ниже: 29–61%+
$8 400
$4 210
$1 613
$1 053
Current NAS DR Protected
Current NAS Single Copy
NAS Gateway and dsNet
dsNet Object Protected
Cleversafe vs Amazon S3 Cleversafe vs NAS
Затраты ниже: 80%+
9 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Архитектура, отвечающая изменяющимся требованиям
Традиционные СХД Облачное хранение данных
Производительность :: Емкость
ДАННЫЕ
ИЛИ ИЛИ
ACCESSER® LAYER
ДАННЫЕ ДАННЫЕ
ИЛИ ИЛИ
dsNet MANAGER®
SLICESTOR® LAYER
ИЛИ ИЛИ
Как устроен Cleversafe
dsNet® Manager
Модуль управления для
конфигурирования и
администрирования
Accesser предоставляет
доступ для приложений к
системе хранения и
данным
Slicestor
предназначены для
хранения данных
© 2015 IBM Corporation
11
10
9
12
3
4
2
1
11
10
9
12
3
4
2
1
11
10
9
12
7
8
6
5
SLICESTOR® LAYER
ДАННЫЕ ДАННЫЕ ДАННЫЕ
ACCESSER® LAYER
ИЛИ ИЛИ
dsNet MANAGER®
11
Данные шифруются и
«нарезаются» на
сегменты (слайсы) с
помощью Information
Dispersal Algorithm
(IDA)
Сегменты
распределяются между
разными дисками,
узлами хранения, а
также географически
между разными сайтами
7
8
6
5
7
8
6
5
3
4
2
1
Erasure Coding
2005
3 4 2 1 11 12 10 9 7 8 6 5
IDA размер = 12 - количество сегментов (слайсов)
3
4
2
1
3
4
2
1
3
4
2
1
Распределение и запись данных
© 2015 IBM Corporation
SLICESTOR® LAYER
ДАННЫЕ
ИЛИ ИЛИ
7
8
6
5
3
4
2
1
11
10
9
12
7
8
6
5
11
10
9
12
3
4
2
1
3
4
2
1
7
8
6
5
11
10
9
12
ДАННЫЕ ДАННЫЕ
ACCESSER® LAYER
ИЛИ ИЛИ
dsNet MANAGER®
3 4 2 1 11 12 10 9 7 8 6 5
Всего сегментов = IDA ращмер = 12
С помощью системы
управления dsNet
конфигурируется кластер
и отрабатываются
возможные сценарии
сбоя
Постоянная доступность
ПОРОГ восстановления (threshold) = 7 – данные можно восстановить при наличии 7 сегментов
Узел управления dsNet
Erasure Coding
2005
© 2015 IBM Corporation
3 4 2 1 11 12 10 9 7 8 6 5
SLICESTOR® LAYER
ДАННЫЕ
ИЛИ ИЛИ
7
8
6
5
3
4
2
1
11
10
9
12
7
8
6
5
11
10
9
12
3
4
2
1
3
4
2
1
7
8
6
5
11
10
9
12
ДАННЫЕ ДАННЫЕ
ACCESSER® LAYER
ИЛИ ИЛИ
dsNet MANAGER® Порог восстановления
устанавливается
администратором в
зависимости от
требований к
надежности системы
3 4 2 1 11 12 10 9 7 8 6 5
1
4
2 11
7 5
9
Чтение и восстановление данных
Erasure Coding
2005
ПОРОГ восстановления (threshold) = 7 – данные можно восстановить при наличии 7 сегментов
Всего сегментов = IDA ращмер = 12
Постоянная доступность
Данные
восстанавливаются и
расшифровываются
независимо какие узлы
или сайты недоступны
© 2015 IBM Corporation
14 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Управление с помощью dsNet®
Единая консоль управления
Простой и функциональный интерфейс для
администрирования
API и интерфейсы
IP
REST API, SNMP, syslog
Исчерпывающий функционал
Мониторинг «здоровья» системы и ее
производительность
Обслуживание без остановки
Обновления микрокода,
перемещение данных,
наращивание емкости
Безопасность
RBAC
Интеграция с LDAP/AD
Certificate Authority
PKI
Просто
15 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Варианты развертывания – On-Premise
Большинство
заказчиков
предпочитают три и
более сайта
Один сайт
Наиболее эффективный вариант развертывания для тех,
кому не нужна отказоустойчивость на уровне сайтов
Б
Два сайта
А
Зеркалирование для «традиционного» развертывания и
повышения отказоусточивости
Геораспределенная архитектура
А
Наилучшая комбинация экономической эффективности и отказоустойчивости
Б В
16 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
On Premise Dedicated on
VAULT /
NEARLINE
STANDARD
Public in
Варианты развертывания – Off-Premise
AS A SYSTEM AS A SERVICE Single tenant, managed by client or by IBM
Integrated Appliance or SW on certified HW model
Object APIs (S3, Swift) and 3rd party gateway access
Integrated w/ Spectrum Protect (S3), Scale (TCT) & Aspera
Shared, multi-tenant
Standard and Vault workloads
Swift and S3 API access
Integrated w/ IBM Cloud platform
Regional
Cross Regional
HYBRID
17 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
North America Regions
• Dallas
• San Jose
• Washington DC
• Canada
European Regions
• Frankfurt
• Amsterdam
• London
Asia Pacific Regions
• Tokyo
• Sydney
• Melbourne
IBM Дата-центры
http://lg.softlayer.com
18 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Что доступно к продаже?
Лицензия
(ежегодная или
вечная) плюс
поддержка
Appliance
(ПО и «железо»)
Cleversafe в
облаке
SoftLayer
(Гибридное
облако)
19 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Операционные расходы снижены
до 70%
Вечное хранение изображений
Постоянная доступность к скачиванию
Возможность масштабирования
40%
Бесплатная и неограниченная по росту емкость
Сократить текущие расходны на СХД на 65%
Решение
Результат
Задача
150 PB рост в следующем году
>50,000 загрузок в минуту
>50 млрд. изображений
100+ PB в продуктиве
Пример внедрения
Новая эра мышления
Веб-фотоархив Shutterfly
Пользователи
загружают файлы
через специальное
веб-приложение
Фото и видео отправляются в COS
через REST API.
Метаданные
записываются в
базу
• Масштаб– 160PB, более 50 миллиардов загруженных изображений на момент внедрения, 50,000+
загрузок в минуту
• Always-on – SLA - 100% возможность скачивания любого файла по требованию– даже во время
переездов датацентов между штатами
• Управляемость– 3 администратора, управляющие всей инфраструктурой
Новая эра мышления
Enterprise Storage as a Service
NAS-папки Обмен и синхронизация
файлов Архивирование
Video On
Demand
• Масштаб: PB+ и увеличивается
• Доступность: 2.5 без остановки сервисов, возможность в минуты наращивать объём
хранилища
• Управляемость: Снижение стоимости оборудования, повышение качества обслуживания
22 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Истории успеха
Service Providers
Media and Entertainment
Life Science, FinServices, Retail
Federal
Новая эра мышления
Глобальный файловый ресурс (NAS)
CIFS/NFS
Репозиторий для взаимодействия между множеством локаций с
доступом из любой точки мира
CIFS/NFS
CIFS/NFS
GLOBAL NAS
SHARES
Enterprise Collaboration
Новая эра мышления
Резервные копии мобильных устройств
Резервные копии мобильных
устройств отправляются через
совместимое с S3 приложение в
COS
• Масштаб: 25PB хранилища для обслуживания10M мобильных устройств. В планах
по развитию – бекапирование почты и предоставление пространства по запросу
• Доступность: 24x 7.
25 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Признанный лидер в индустрии
https://www.gartner.com/doc/reprints?id=1-33E2S6I&ct=160413&st=sb
https://www.cleversafe.com/documents/public/IDC-MarketScape-Worldwide-Object-Based-Storage-2014-Vendor-Assessment-Cleversafe.pdf
https://www.cleversafe.com/documents/public/Forrester-TEI.pdf
Cleversafe – Лидер в индустрии два года
подряд в Объектном Хранении
Cleversafe признан лидером в номинации 2016 Critical Capabilities for Object Storage Use Cases
Backup
28 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
ACCESS METHODS
DIRECT API ACCESS
The Accesser Software exposes three REST
APIs for ingest and retrieval. Applications with
knowledge of these APIs can leverage
Cleversafe directly.
PARTNER BASED
A variety of Cleversafe Certified technology
partners can leverage Cleversafe’s multi
tenancy support to satisfy concurrent use
cases on a single Cleversafe instance.
Data
ACCESSER
SOFTWARE
Site 1 Site 2 Site 3
SLICESTOR
SOFTWARE
S3 Compatible API Openstack Swift
Compatible API Simple Object API
NAS ARCHIVE OTHERS
29 Cleversafe, Inc. All rights reserved.
Enterprise Storage as a Service
NAS Services File synch and
share Archive Services
Video On Demand
services
• Scale: PB+ and expanding. New services
• Security: zero touch security for all content
• Availability: always-on availability for 2.5 years and new capacity in minutes
• Manageability: lower overall data center cost with high service levels
• Economics: 80% savings over old (legacy storage) approach and 43% over AWS
• Key Decision Makers: Corporate IT and storage team
30 Cleversafe, Inc. All rights reserved.
Active Archive – Web Based Photo Sharing
Users upload photo
and video content via
web based application
Photo and video objects are sent to
Cleversafe via REST based protocols
Metadata is
captured and
stored
• Scale – 160 petabytes and growing: more than 50 Billion images stored
• Security – 50,000+ uploads per minute with zero touch security
• Always-on availability – SLA of 100% download on demand – even during CA to Nevada datacenter
move
• Manageability – 3 Administrators manage entire environment
• Economics – Operating costs reduced by more than 70%
• Key decision makers – Line of business team
31 Cleversafe, Inc. All rights reserved.
Global NAS File Share
CIFS/NFS
Collaborate across locations around the world with a central data
repository on Cleversafe.
CIFS/NFS
CIFS/NFS
GLOBAL NAS
SHARES
Enterprise Collaboration
32 Cleversafe, Inc. All rights reserved. © 2016 IBM Corporation
Programmatic Provisioning
Multi Tenant Capabilities
S3 and Openstack Swift compatible containers
IBM Spectrum
Protect Enterprise backup Database
Protection
Cleversafe serves as a storage foundation for a variety of uses
Thin Provisioning
Storage Quotas
Usage Reporting Per Tenant
Enterprise Backup and Archive