<Insert Picture Here>

Oracle Exadata Database Machine – Экстремальная

производительность и сверхбольшие объемы данных

Alexander Novikov

Senior Sales Consultant Exadata

Oracle CIS

Oracle Exadata Database Machine Единая архитектура для …

• Хранилищ данных

• Транзакционных систем

• Консолидации БД

Exadata для компании Oracle – это стратегическая

платформа для развёртывания баз данных ВСЕХ

типов нагрузок

Единая

Эволюция Exadata Опыт трёх поколений систем

HP Oracle Database

Machine (V1)

Sun Oracle Database Machine

(V2)

Oracle Exadata Database

Machine (X2-2 and X2-8)

Хранилища данных + Транзакционные системы (Flash)

+ Гибридное колоночное сжатие

+ Консолидация

+ 80-ядерные SMP узлы (X2-8)

+ 4 TB DRAM (X2-8)

2008 2009 2011

Архитектура Exadata Полное решение - вычисление, хранение, взаимосвязь

• Grid Базы Данных – Сервера БД с процессорами Intel

– Oracle Linux или Solaris 11

– Oracle Database 11g

– 10 Gig Ethernet (для подключения к ЦОД)

• Grid Системы Хранения – Сервера ячеек хранения с процессорами Intel

– До 504 ТБ “сырого” дискового пространства

– До 5.3 ТБ Flash пространства

– Exadata Storage Server Software

• Сеть InfiniBand – Внутренняя взаимосвязь ( 40 Гб/сек )

Инновации Exadata Storage

• Intelligent Storage

• Smart Scan обрабатывает запросы

• Масштабируемое хранилище

+ + +

• Hybrid Columnar Compression – 10x - среднее сжатие для хранилищ

– 15x - среднее сжатие для архивов

Сжатые данные

primary

standby

test

dev’t

backup

Несжатые данные

• Smart Flash Cache

– Укоряет произвольный доступ

– Удваивает скорость сканирований

Данные

остаются

сжатыми

для Smart

Scan и

Flash Cache

Многократный

выигрыш

Copyright © 2011, Oracle Corporation and/or its affiliates

• Интенсивная обработка данных происходит на Exadata Storage Grid

• Фильтрация строк и столбцов в потоке данных прямо с диска (168 ядер Intel)

• Масштабирует параллельное выполнение на уровне системы хранения исключает узкие места

• Пример: Сколько в прошлом квартале было продано продукта X

• Exadata Storage Читает 10ТБ с диска

• Exadata Storage Фильтрует строки по Продукту и Дате

• Посылает 100ГБ удовлетворяющих данных на сервера БД

• Самая высокая полоса пропускания • 25 ГБ/сек с диска, 75 ГБ/сек с флэш (без компрессии!)

• Миллиарды строк в секунду

Exadata Intelligent Storage Самая масштабируемая обработка данных

Exadata Smart Flash Cache Расширяет ограничения произвольного в/в дисков

• Компромисс между традиционными дисками и Флэш памятью

• Диски дешевы, имеют большую ёмкость, но ограничены низким в/в (300 IOPS на диск)

• Флэш память дорогая, имеет малую ёмкость, но может поддержать тысячи операций в/в в секунду

• Идеальное решение - Exadata Smart Flash Cache

• Хранение данных на диске из-за стоимости

• Прозрачно перемещает “горячие” данные на флэш кэш

• Используются флэш карты вместо флэш дисков, что исключает ограничения дисковых контроллеров

• Флэш карты в Exadata

• Высокая пропускная способность, низкая задержка

• 4 x 96GB PCI Express Flash Cards на Exadata Server

300 I/O в секунду

Десятки тысяч операций в секунду

Гибридное колоночное сжатие Выше компрессия – ниже стоимость

• Данные группируются по колонкам и затем сжимаются

• Традиционные алгоритмы сжатия

• Кардинальное улучшение степени сжатия

• Query Mode для хранилищ данных

• Оптимизированы для ускорения доступа к данным

• 10X сжатие - типично

• Время сканирования уменьшается соответственно

• Archival Mode для редко используемых данных

• Оптимизировано для уменьшения занимаемо места

• Типично сжатие в 15-50 раз

• Помощник по сжатию

• PL/SQL пакет DBMS_COMPRESSION

Copyright © 2009, Oracle Corporation and/or its affiliates – 9 –

Exadata I/O Resource Management Множество БД

• Гарантия заданного баланса

ввода/вывода между базами данных

• БД “A”: 33% ресурсов ввода/вывода

• БД “B”: 67% ресурсов ввода/вывода

• Гарантия разным пользователям

одной БД в получении заданного

относительного количества

ресурсов ввода/вывода

• БД “A”: :

• Отчеты: 60%

• ETL: 40%

• БД “B”:

• Interactive: 30%

• Batch: 70%

Exadata Cell

InfiniBand Switch/Network

БД “A” БД “B”

Exadata Cell Exadata Cell

Exadata I/O Resource Manager

Finance

Database Exadata

Storage

Cell

O T O

T

B B B B

Tactical Queries Queue

Batch Queries Queue

Finance Database

Sales

Database

Sales Database

I/O Resource

Manager

Resource

Plans

Outstanding I/O

Requests

1. Выбирается БД

Reports Queue

O O

OLTP Queue

2. Выбирается Consumer Group

R

3. Установка запроса в очередь

R R R

Отличительная особенность Exadata Предназначена для запуска СУБД Oracle

Машина БД Exadata Своя конфигурация

СХ сканирует и фильтрует данные СХ просто передаёт данные

СХ выполняет операции БД* СХ не понимает БД

Кэширование нужных для БД данных Общий алгоритм кэширования

Сеть 40 Гб/сек Сеть 8 – 10 Гб/сек

Уже создана для нагрузок СУБД Собирается самостоятельно

Встроенная избыточность Самостоятельное обеспечение ВГ

Встроенная компрессия Опциональная компрессия

Встроенное управление нагрузкой Опциональное управление нагрузкой

* Backups, compression, decryption, data mining

Exadata не система общего предназначения,

Это Машина Баз Данных

168 ядер ЦПУ в ячейках хранения

Оснащена интеллектуальной системой хранения (СХ)

Отличительная особенность Exadata Изначально готовая к эксплуатации

До

сти

жи

ма

я п

ро

изв

од

ите

ль

но

сть

До

сти

жи

ма

я п

ро

изв

од

ите

ль

но

сть

Дни Месяцы

100%

Сбор статистики, диагностика, настройка и реконфигурация

Тестирование& отладка режимов обработки сбоев

Сбор десятков компонент

Согласование компонентов разных производителей

Собственная

конфигурация

Машина БД Exadata Консолидация всех существующих приложений

• На Exadata могут совместно выполняться

приложения любого типа. Это гарантируется:

• Широкими каналами и масштабируемой системой

ввода/вывода;

• Instance Caging – ограничение на ресурсы ЦПУ между

БД на одном узле;

• Менеджер ресурсов ввода/вывода;

• Большой объем памяти и процессорные

мощности для онлайн задач;

• Оффлоадинг операций (smart scans, storage

indexes) для пакетных задач, отчетности,

хранилищ;

• Встроенная компрессия – существенное

сокращение требуемого дискового

пространства

• Архивы и данные для отчетности

Copyright © 2010, Oracle Corporation and/or its affiliates – 13 –

Интеграция ПАК Oracle

Oracle

Big Data Appliance

Oracle

Exadata

InfiniBand

Acquire Organize Analyze & Visualize Stream

Oracle

Exalytics

Oracle Loader for Hadoop

Oracle Direct Connector for HDFS

Data Load Rate up to 12 TB/h

InfiniBand

АБС ЦФТ-Банк (Платформа 2МСА) Тест для крупного российского банка

30,000 online пользователей

Только на Exadata!

Exadata X2-8

2 x Восьмипроцессорных БД-сервера

• 128 CPU ядер Xeon

• 2 TB оперативной памяти

• 16 x 10GbE портов

• 14 x Exadata Storage Servers (100 ТБ)

• 5.3 ТБ Smart Flash Cache

• Все внутренние подключения 40Гб/с

(3 x InfiniBand Switch )

Обработка 83 банковских документа/сек

Средняя загрузка ЦПУ: 48%

Среднее время чтения с диска: 0.8мс! Генерация REDO: 11МБ/сек

Транзакций СУБД: 10K/сек

Задача заказчика: Консолидация баз данных

Тип приложения: OLTP+отчеты

Модель реальной пиковой нагрузки

Реальная база данных

Real Application Clusters

Мощность серверов генерирующих нагрузку Суммарно ~ 800 ЦПУ-ядер

> 20,5 часов

7,5 часов

10,1 мин0

5

10

15

20

25

Время пересчета 3-х месяцев

Вр

ем

я, ч

ас

Продуктивная среда

Oracle Exadata Quarter Rack (запуск процедуры без оптимизации)

Oracle Exadata Quarter Rack (запуск процедуры после оптимизации)

Крупная торговая сеть Процедура пересчета остатка товаров*

*Фрагмент отчета о тестировании

Пример: Таблица ORDERS

Показатель Без сжатия С HCC Разница

Размер на диске 1637 GB 252 GB 6,5 раз

Записей на GB 4,77 млн 31,02 млн 6,5 раз

Время выполнения

запроса FULL SCAN

92 сек 16 сек 5,75 раз

Скорость сканирования 17,8 GB/сек 15,74 GB/сек -9%

Скорость сканирования в

записях

84,95 млн/сек 488,47

млн/сек

5,75 раз

Количество записей: 7,8 миллиарда (7 815

528 332)

Полное семейство Машин Баз Данных От четверти стойки до многостоечной конфигурации

Oracle Exadata X2-2 от 2 до 8 (12-ядерных) серверов БД

Oracle Exadata X2-8 2 (80-ядерных) серверов БД

4ТБ DRAM

Quarter Half

Full, Multi-Rack

Full-Rack

Multi-Rack Модели и конфигурации Exadata

удовлетворяют потребности всего диапазона промышленных баз данных

Модели и конфигурации Exadata

X2-8

Full Rack

X2-2

Full Rack

X2-2

Half Rack

X2-2

Quarter Rack

Database

Server

Nodes

No. of Nodes 2 8 4 2

No. of CPUs 16 16 8 4

No. of Cores 160 96 48 24

Memory 4 TB 768 GB 384 GB 192 GB

No. of InfiniBand Switches 3 3 3 2

Exadata

Storage

Server

Cells

No. of Cells 14 14 7 3

No. of CPUs 28 28 14 6

No. of Cores 168 168 84 36

Number of Disk 168 168 84 36

Building blocks: X2-2 nodes = Sun Fire X4170 M2 w/ Intel Xeon X5670 CPUs X2-8 nodes = Sun Fire X4800 M2 w/Intel Xeon E7-8870 CPUs Exadata Storage Server Cells = Sun Fire X4270 M2 w/ Intel Xeon L5640 CPUs

Copyright © 2011 Oracle Corporation and/or its affiliates – 19 –

Copyright © 2011 Oracle Corporation and/or its affiliates – 20 –

Несжатое дисковое пространство

X2-8

Full Rack

X2-2

Full Rack

X2-2

Half Rack

X2-2

Quarter Rack

Raw Disk1 High Perf Disk 100 TB 100 TB 50 TB 21 TB

High Cap Disk 504 TB 504 TB 252 TB 108 TB

Raw Flash1 5.3 TB 5.3 TB 2.6 TB 1.1 TB

Usable Capacity with ASM

normal redundancy2

High Perf Disk 45 TB 45 TB 22.5 TB 9.25 TB

High Cap Disk 224 TB 224TB 112 TB 48 TB

Usable Capacity with ASM

high redundancy3

High Perf Disk 30 TB 30 TB 15 TB 6.25 TB

High Cap Disk 164 TB 164TB 82 TB 35 TB

1 - Raw capacity calculated using standard disk drive raw space terminology of 1 GB = 1000 x 1000 x 1000 bytes and

1 TB = 1000 x 1000 x 1000 x 1000 bytes.

2 - Actual space available for a database after mirroring (ASM normal redundancy) and leaving one empty disk to

handle disk failures. Capacity calculated using normal space terminology of 1 TB = 1024 * 1024 * 1024 * 1024 bytes.

3 - Actual space available for the database computed after triple mirroring (ASM high redundancy). Capacity

calculated using normal space terminology of 1 TB = 1024 * 1024 * 1024 * 1024 bytes.

Exadata Storage Expansion Rack Если нужно больше дискового пространства

• Предварительно сконфигурированная стойка

только из ячеек хранения*

• Подключается к существующей Exadata DB Machine

• Для приложений нуждающихся в большем

дисковом пространстве, но не в вычислительной

мощности

– Резервное копирование на диск(27 TБ/час)

– Исторические или архивные данные

– Данные в файлах, LOB-ы, данные XML, документы

– Изображения и другие неструктурированные данные

• Привлекательная цена за ТБ

* Эквивалентна Машине БД с серверами БД

замещенными ячейками хранения

Exadata Storage Expansion Racks Масштабируемое, предварительно

сконфигурированное дисковое пространство Multi Rack

Соединено

InfiniBand

8+ Стоек

Quarter Rack

96/28 ТБ Диск

1.5 ТБ Флэш

4 Сервера Хранения

48 Ядер ЦПУ

Half Rack

216/64 ТБ Диск

3.4 ТБ Флэш

9 Серверов Хранения

108 Ядер ЦПУ

Full Rack

432/128 ТБ Диск

6.75 ТБ Флэш

18 Серверов Хранения

216 Ядер ЦПУ

Oracle Database 11gR2 + Exadata

• Exadata – прозрачна для существующих приложений

• Сохраняется весь Ваш опыт работы с Oracle

• Полностью сохраняется весь код приложения

• Сохраняются инвестиции

• В лицензии Oracle

• В обучение персонала

• Миграция без остановки приложения

Copyright © 2011, Oracle Corporation and/or its affiliates – 24 –

Ресурсы

• Oracle.com: http://www.oracle.com/exadata

• Портал о технологиях Oracle Exadata: http://www.oracle.com/technology/products/bi/db/exadata

• Документы об Oracle Exadata: http://www.oracle.com/technology/products/bi/db/exadata/pdf/exadata-technical-whitepaper.pdf

http://www.oracle.com/technology/products/bi/db/exadata/pdf/migration-to-exadata-whitepaper.pdf

Copyright © 2009, Oracle Corporation and/or its affiliates – 26 –

BACKUP SLIDES

© 2011 Oracle Corporation 27

Exadata Intelligent Storage

• Exadata storage servers also run more complex operations in storage

• Join filtering

• Incremental backup filtering

• I/O prioritization

• Storage Indexing

• Database level security

• Offloaded scans on encrypted data

• Data Mining Model Scoring

• Smart File Creation

• 10x reduction in data sent to DB servers is common

Exadata

Intelligent Storage

Grid

Полная интеграция с технологиями

защиты данных

Data

Masking

Advanced

Security Secure

Backup

Encryption and Masking

Database

Vault Label

Security

Access Control

Configuration

Management

Audit

Vault Total

Recall

Monitoring

© 2010 Oracle Corporation

Защита от сбоя

• Redundant Hardware

• Servers, Storage, Network

• Database Level HA

• Tolerate failures and changes

Active 1) 2) Data Guard

RAC

ASM

Flashback

Secure Backup

Online Redefinition

SAP ERP

SAP BW

Warehouse

Data Mart

HR

1) Data Guard is the preferred DR solution for SAP customers

2) Real time query on the standby database is not possible with SAP applications

Copyright © 2011 Oracle Corporation and/or its affiliates – 29 –

2,5

6

9 11 *

25

75

IBM XIV NetApp 6080

IBM DS8700

Hitachi USP V

EMC VMAX

Exadata Disk

Exadata Flash

Query Throughput Gigabytes per Second

* Undisclosed by vendor

Sequential I/O Performance Best disk, best flash throughput

50,000

IOPS

1,500,000

IOPS (I/Os per second)

Exadata Delivers Extreme Data Capacity

Greater than 10x data compression is

common Exadata 10x compression

Teradata 2650 1.4x compression

Netezza TwinFin 2-4x compression

EMC VMAX 3x (Oracle) compression

Competitors require

multiple racks of storage

to equal 1 rack of

Exadata storage*

* Using largest disks and best

compression for each vendor

Exadata for SAP Customers Certification announced June 10, 2011

Turkcell: 10x Compression, 10x Speedup 250 TB warehouse compresses to 25 TB

1 Exadata rack

25 TB compressed data

• 50,000 Reports run 10x faster

each month (avg 27 min to 3 min)

• 1.5 Billion records (2-3 TB raw)

loaded daily (data doubles yearly)

• Redundancy/HA built-in

10 storage racks 1 large SMP server

250 TB raw data

10:1

advantage

Hitachi

USP-V

5 Racks

EMC

DMX-4

5 Racks

Softbank Replaces 36 Teradata Racks 3 Exadata racks up to 8x faster

3 Exadata racks

150% more data capacity

• Billions of CDRs processed in 7

hours (from 25 with Teradata)

• Power, cooling, space savings

• Maintenance charges slashed

36 total racks

Twice the operational cost of Exadata

12:1

advantage DBA

Exadata Delivers Extreme Value 1/6 the price versus IBM’s latest

$18,860,000

2 Exadata X2-8

$3,000,000

• More CPU cores

• More I/O performance

• Same storage capacity

– (excludes compression)

• HA configuration

IBM P795 + 4 DS8700s w/ Flash

6:1

advantage*

* Hardware list price comparisons

Exadata Outperforms HP Superdome for Less

1/9 the price versus HP’s latest

$9,420,000

1 Exadata X2-2

$1,000,000

• More CPU performance

• More I/O performance

• More storage capacity

– (excludes compression)

• HA configuration

HP Superdome 2 + XP24000 w/ Flash

9:1

advantage*

* Hardware list price comparisons