Новые возможности платформы Oracle 12c для хранилищ данных

Новые возможности платформы Oracle 12c для хранилищ данных и интеграцииАлександр Рындинведущий консультант, Oracle СНГ

Copyright © 2012, Oracle and/or its affiliates. All rights reserved.2

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.


Содержание

Oracle Database 12c для хранилищ данных

Новые возможности GoldenGate 12c

Новые возможности ODI 12c


Highlights1. Многоарендная архитектура2. In-Memory3. Адаптивный оптимизатор4. SQL Pattern Matching

Oracle 12c для хранилищ данных


Oracle MultitenantНовая архитектура для консолидации и упрощения управления

Container Database

Self-contained PDB для каждого приложения Не требуется изменять приложения Быстрое развертывание (клонированием) Переносимость (pluggability)

Общая память и фоновые процессы Больше приложений на сервере

Общие операции на уровне CDB Управляем целиком (обновление, HA, backup) Тонкие настройки, если требуется


Преимущество За счет чего достигается

Ниже CapEx • Больше приложений на сервере

Ниже OpEx• Управляем как единое целом• Стандартизация процедур & сервиса• Клонирование для разработки / тестирования

Выше гибкость• Быстрое развертывание• Переносимость через “pluggability” • Масштабируемость с RAC

Простота внедрения • Приложения не нужно менять

Ключевые преимущества


Пример: Инфраструктура хранилища данных

Oracle Exadata 1+2Datacenter A

Oracle Exadata 3+4Datacenter B

DW B PRD DW B PRD DG

DW A PRD DW A PRD DG

DW B Staging DG DW B Staging PRD

DW C PRDDW C PRD DG

Data Mart A PRD

Data Mart B PRD

Data Mart A DG

Data Mart B DG

Data Mart C PRD Data Mart D


ОБА формата – строчный и колоночный в RAM для таблиц

Одновременно активный и транзакционно-целостный

В 100 раз быстрее для аналитики и отчетов: колонки

В 2 раза быстрее OLTP: строчный формат

Oracle Database In-Memory

Column Format

Memory

Row Format

Memory

AnalyticsOLTP Sales Sales

Sales


Oracle In-Memory не требует изменения приложений

Полный функционал - Не ограничений на SQL

Легко использовать - Нет миграции данных

Полностью совместимо - Все приложения работают

Мультиарендность - Oracle In-Memory готово для Cloud

Уникальное достижение: In-Memory без изменения приложений


Адаптивные планыПлан запроса меняется во время работы, основываясь на реальных данных

Адаптивная статистикаСбор адаптивной статистики

“Обучение” для будущих запросов

Адаптивная оптимизация планов

Адаптивная оптимизация

запросов

Адаптивные планы

Адаптивная статистика

Join Methods

Parallel distribution

Methods

At compile

time

At run time


Адаптивные планы запускаУлучшения производительности SQL без вмешательства

HJ

Table scanT2

Table scanT1

NL

Index Scan

T2

Threshold exceeded, plan

switches

Table scanT1

HJ

Table scanT2

Решение о выборе плана откладывается до момента запуска

Конечное решение основано в т.ч. на статистике предыдущих шагов плана

Если статистика не соответствует ожиданиям, то план может быть изменен

Устраняем эффект неравномерного распределения данных0

100

200

300

400

500

600

Ela

psed

Tim

e

Oracle E-Business Suite Reports


Pattern MatchingУпрощаем анализ Big Data

Select * from Employees MATCH_RECOGNIZE (…PATTERN(X+ Z{2})…)

Масштабируемое обнаружение последовательности бизнес-событий:

– Clickstream logs: sessionization, поведение при поиске

– Финансовые транзакции: обнаружение мошенничества, анализ двойного дна (“W”) акций

– Телекоммуникации: прерванные звонки

– Медицинские датчики: автоматизация медицинских наблюдений

Patterns are defined using regular expressions

Asc

endi

ng O

rder


Pattern Matching в SQL-аналитикеJava vs. SQL: рынок акций - поиск шаблона ‘W’ в данных торгов

SELECT first_x, last_zFROM ticker MATCH_RECOGNIZE ( PARTITION BY name ORDER BY time MEASURES FIRST(x.time) AS first_x, LAST(z.time) AS last_z ONE ROW PER MATCH PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price < PREV(price)), Y AS (price > PREV(price)), W AS (price < PREV(price)), Z AS (price > PREV(price) AND z.time - FIRST(x.time) <= 7 ))

12 строк на SQL

SQL – в 20 раз меньше кода, в 5 раз быстрее

250+ строк на Java и PIG

package pigstuff;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import org.apache.pig.EvalFunc;import org.apache.pig.PigException;import org.apache.pig.backend.executionengine.ExecException;import org.apache.pig.data.BagFactory;import org.apache.pig.data.DataBag;import org.apache.pig.data.DataType;import org.apache.pig.data.Tuple;import org.apache.pig.data.TupleFactory;import org.apache.pig.impl.logicalLayer.FrontendException;import org.apache.pig.impl.logicalLayer.schema.Schema;/** * * @author nbayliss */

private class V0Line { String state = null; String[] attributes; String prev = "”; String next = ””; public V0Line(String[] atts) { attributes = atts; }

public String[] getAttributes() { return attributes; }

public void setState(String state) { this.state = state; }

public String setState(V0Line linePrev, V0Line lineNext) {

private boolean eq(String a, String b) {

private boolean gt(String a, String b) {

public Tuple exec(Tuple input) throws IOException {

@Override public Schema outputSchema(Schema input) { Schema.FieldSchema linenumber = new Schema.FieldSchema("linenumber", DataType.CHARARRAY); Schema.FieldSchema pbykey = new Schema.FieldSchema("pbykey", DataType.CHARARRAY); Schema.FieldSchema count = new Schema.FieldSchema("count", DataType.LONG);

Schema tupleSchema = new Schema(); tupleSchema.add(linenumber); tupleSchema.add(pbykey); tupleSchema.add(count); return new Schema(tupleSchema); }

}


Решения Oracle для интеграции данных

Тысячи клиентов, включая компании из Fortune 500, представляющие финансовый сектор, телекоммуникации, медицину, госсектор, коммунальные службы, ритейл

• 4 из top 5 банков • 3 из top 3 сетей банкоматов• 5 из top 5 финансовых компаний• 5 из top 5 телеком. операторов• 3 из top 5 крупнейших ритейлов


Сервисы для интеграции данных

JMS Oracle Other DB Application

Клиентские приложения: BPEL, OSB, Custom

OGGData

Replication Services

OEDQ Data Quality

ServicesData Access

ServicesAgent

ELT Services

ODIWSDL WSDL ODSI Data

Virtualization Services

Web ServiceFile

Репликация в реальномвремени

Пакетный перенос & трансформация данных

Виртуализация доступа к распределенным данным

Доступ к трансформированным данным

WSDLWSDL

Data Warehouse

Валидация и очистка


Oracle GoldenGate 12c обзорОптимизировано для Oracle Database 12c Многоарендная и облачная репликация в реальном времени

Integrated Delivery для Oracle Database Использует легкое Streaming API, разработанное специально для Oracle GoldenGate

Coordinated Delivery для Non-Oracle Databases Оркестрация высокоскоростными процессами применения &простое управление

Расширенная гетерогенность В 12c появляется поддержка дополнительных баз данных и расширяется поддержка существующих

Более простая настройка Автоматический Discard File, улучшенная отладка и репликация схем по шаблону

Повышение доступности Интеграция с Data Guard и FSFO для автоматического прозрачного переключения

Расширена поддержка Oracle Application и технологий Active/Active ATG, Low Downtime E-Business Suite Migrations и Coherence Integration

Улучшенная безопасность Интеграция с Oracle Credential Store и Oracle Wallet для защиты информации (пароля)


Оптимизировано для Oracle Database 12cПоддержка обычных и многоарендным баз данных


Оптимизировано для Oracle Database 12c Захват и доставка в облачные системы

• Поддержка для компаний, использующих облачные и внутренние системы для развертывания СУБД

• Oracle GoldenGate 12c поддерживает

• Безопасные сети между облаком и внутренними системами

• Сети, где пробрасываются определенные порты между облаком и внутренними системами

• Сети, где доступ осуществляется через HTTP proxy / tunnel

* Replicating Between Cloud and On-Premises Using Oracle GoldenGate (Doc ID 1588484.1)


Текущий подход для репликации больших объемов

TrailFiles

Replicat

Replicat

Replicat

Replicat

Специалист определяет распределение нагрузки

SQL

SQL

SQL

SQL

Целевая база данных

При высокой нагрузке транзакция разбивается

Сложно реплицировать– DDL

– Зависимые таблицы с внешними ключами

Сложно конфигурировать и поддерживать


Integrated Delivery Обзор

• Integrated Delivery для СУБД Oracle версии не нижеo 12.1.0.1 и 11.2.0.4

• Использует координатор и apply-сервера для автоматического вычисления зависимостей и параллельно применения транзакций

• Минимальные изменения в конфигурацииo Один файл параметров для всех таблиц

o Один процесс-координатор с минимальной конфигурацией для распределения нагрузки


Производительность Integrated Delivery Integrated Replicat на 24% быстрее

чем 6 вручную сконфигурированных Classic Replicats

– 129,000 vs. 96,000 DMLs/sec

– OLTP (измененный Swingbench)

Integrated Replicat значительное упрощает конфигурирование

– Не требуется понимать нагрузку (PK/FK constraints)

– Автоматический параллелизм

– Транзакции не разбиваются

Duration (seconds)

DMLs per Second

Workload Classic - 3 Reps

Classic - 6 Reps

Integrated0

10002000300040005000600070008000

Workload Classic - 3 Reps

Classic - 6 Reps

Integrated0

20000400006000080000

100000120000140000


Кастомизированная обработка DML

DML Handlers– Указывается для таблиц и операций(Insert/Update/Delete/LOB)

– Statement DML handler

– Procedure DML handler

Error Handler– Обрабатывает ошибки применения для кастомизированных и DML-

обработчиков по-умолчанию

Конфигурируются в базе данных (не в param file)

23


Coordinated Delivery для Non-Oracle Databases

TrailFiles

Thread

Thread

Thread

Thread

CustomerID определяетраспределение

SQL

SQL

SQL

SQL

Один процесс replicat для таблиц

customers

GoldenGate координирует

потоки для «барьерных»

операцийTarget

Non-Oracle Database

GoldenGate Delivery


Coordinated vs Integrated Delivery

25

Coordinated Delivery Integrated Delivery

Пользователь определяет распределение нагрузки

Автоматическое распределение нагрузки

Возможно разбитие транзакций Не разбивает транзакции

Все базы данных Oracle 11.2.0.4+

Использует собственный SQL генератор и работает снаружи базы данных

Процессы применения в сервере СУБД. Тесно интегрирован с Oracle Database.


Повышенная доступностьИнтеграция с Data Guard и FSFO

Source Oracle Database

TargetOracle / Non-Oracle

Database

Capture TrailFiles

Pump Delivery

LAN / WAN / InternetOver TCP/IP

TrailFiles

Data Guard Continuous Log shipping

Data Guard Standby Oracle Database

• Нормальная работаoС источника на Standby с помощью

Oracle Data GuardoС источника на целевую систему в реальном

времени с помощью Oracle GoldenGate


Бывшая Source Oracle Database

TargetOracle / Non-Oracle

Database

Capture TrailFiles

Pump

Delivery


TrailFiles

Source Oracle Database

• Failover Scenario с помощью FSFOoOracle GoldenGate стартует на

“новом” источнике и репликация продолжается

X

Повышенная доступностьИнтеграция с Data Guard и FSFO


Миграция EBS Database с минимальные простоемОбзор

• Triple-O: Oracle to Oracle Database Migrations “Online” (Online = GoldenGate)

• Разработано ACS и Product Management со стороны GoldenGate и E-Business Suite для миграции базы данных Oracle для E-Business Suite

• Предоставляет средства для миграции на новую платформу и другую версию СУБД с очень малым временем простоя

SourceE-BusinessDatabase

TargetE-Business

Database

Capture TrailFiles

Pump Delivery


TrailFiles

Oracle to Oracle Initial Data Load

Синхронизация с помощью Oracle GoldenGate

29

Миграция без остановки, шаги: Siebel

1. Запуск модуля захвата изменений

2. Запуск процесса клонирования

3. Запуск процесса синхронизации

1

2,3

Capture

7.x/8.x7.x/8.x

Tranlog Source Trail TargetTrail

Delivery

30


4. Добавление новой версии репозитория

5. Новый репозиторий доставляется на приемник

6. Проверяем его появление

4

5,6

Capture

7.x/8.x7.x/8.x

Tranlog Source Trail TargetTrail

Delivery

31


7. Остановка синхронизации и запуск захвата изменений на целевой системе

8. Активация нового репозитория и тестирование

7,8

Capture

7.x/8.x7.x/8.x

TranlogSource Trail

TranlogSource Trail

32


9. Синхронизация целевой системы

10. Синхронизация источника

9

Capture

7.x/8.x7.x/8.x

TranlogSource Trail

TranlogSource Trail

TargetTrail

TargetTrail

10

33

Case Study: Home Shopping Network (HSN)Zero Downtime for Major Oracle Siebel & Database Upgrade

Business Challenges:• Needed to minimize total downtime to business

during upgrade of their order management system Siebel 6.2 to Siebel 8.0.

• Additionally in project: upgrades from Oracle 8i to Oracle 10g and hardware.

• No tolerance for downtime - operate 24x7x365

GoldenGate Solution:• Zero-Downtime Operations solution works with

different application, database, and hardware versions and vendors.

• Phased upgrade approach spread over 3 months. (50-100 agents per day)

• Reduce downtime during the massive migration effort.

• Simplify data conversions without interruption to regular business processes.

• Both environments remained online for 3 months before cutting over in September 2008 to the new environment.

Zero-Downtime Application and Database Upgrade

Siebel 8.0

Oracle 10g

Sun Solaris 10

Siebel 6.2

Oracle 8i

Sun Solaris 8

1,500 users,

phased switchovers

Single Order Management System for Web; Automated & Call Center

Orders

"Being a live 24/7 business, HSN simply cannot

afford to take any outage, so when other vendors

suggested we take the systems down for a week

to complete the migration, we knew we had to

find an alternate solution…we selected GoldenGate.”

- Anitha Reddy, Vice President of IT Applications, HSN

E-Commerce / Retail

http://images.google.com/imgres?imgurl=http://www.thermal-aid.com/images/hsn_logo_blue.gif&imgrefurl=http://www.thermal-aid.com/&h=124&w=125&sz=2&hl=en&start=1&um=1&tbnid=2PjrJEzoAlB8ZM:&tbnh=89&tbnw=90&prev=/images?q=home+shopping+network+logo&imgsz=small%7Cmedium%7Clarge%7Cxlarge&svnum=10&um=1&hl=en&rlz=1T4GZHY_enUS230US230


Тесная интеграция с Oracle CoherenceОбзор

• GoldenGate Coherence Adapter запускает на базе данных источника

• Зафиксированные изменения реплицируются в реальном времени из источника в Coherence через адаптер

• Интеграция с Coherence обеспечивается с помощью TopLink extensions

Oracle Coherence Grid Edition 12.1.2

Oracle & Non-Oracle Database(s)

Capture

Coh

eren

ceA

dapt

er

TrailFiles

Oracle TopLink

Reads/Writes Initiated By Coherence

Third Party DML Operations


GoldenGate для Oracle ATG Active/ActiveОбзор

• Oracle GoldenGate обеспечивает репликацию между ЦОД для обслуживания одного Web Commerce siteo Большее количество пользователей

o Помогает в случае сбоев продолжить непрерывную работу

o Additional info available at:

http://www.youtube.com/watch?v=10tN2ltOSNs


Улучшение пользовательского интерфейса и продуктивности Декларативные flow-based UI, повторное использование mappings, пошаговый debugger

Экстремальная производительность Параллельная загрузку целевых таблиц, параллелизм в сессии, низкие накладные расходы

Enterprise Ready Интеграция с общей модель управления и корпоративными ролями OPSS

Улучшенная интеграция с технологиями Oracle 12c расширяет интеграцию с Oracle GoldenGate и Oracle Warehouse Builder

Простота использования и управленияКонсоль интегрирована с Enterprise Manager Cloud Control

Лучшая опция для бизнес-аналитики Готовая интеграция для Oracle BI Applications

ODI 12.1.2 новые возможности


Цели ODI 12c MappingКомбинация декларативного и потокового подхода

Простота Абстракция физической

реализации от логического маппинга

Расширяемая модель для любых интеграционных механизмов

Показывает связи таблиц-источников

Универсальный для больших и сложных примеров

Быстрое создается и легко рефакторится


Reusable Mappings Сохраняет общую логику (источники, приемники, трансформации) Повторно использует логику в маппингах


Пошаговый отладчикОбзор

Позволяет пользователю

• Управлять потоком (Pause, Resume, etc)

• Определять точки останова в пакетах

• Включать/отключать точки останова

• Запрашивать данные через агента (дает доступ к незакомиченным данным)

• Запускает сессию с опцией «Ждать пользовательского ввода в случае ошибки»


Оптимизация производительности

In-session parallelism – Параллельный запуск задач

– Сокращает время загрузки

Меньшее накладные расходы– Когда запускаются повторяющиеся сценарии,

перезапускаются сессии

– Эффективные micro-batch загрузки для real time данных

– Меньше логирования, лучшее использование кэша, снижение трафика

Быстрее загрузка

Total Execution Time

TRADITIONAL

ODI 12.1.2

SrcSet1

SrcSet2

SrcSet3

Integration

Integration

Total Execution Time

SrcSet1

SrcSet2

SrcSet3


Обнаружение компонент ODI Агентов: Standalone и JEE Репозиториев Баз источников и приемников

Мониторинг Доступности

– ODI homepage для быстройоценки статуса

Производительности

– Производительность ODI компонент

Management Pack for Oracle Data IntegratorКлючевые возможности


Интеграция между GoldenGate и ODI 12c

Bulk Load Scenario Real Time Scenario

Включаем GoldenGate Journalizing на интерфейсы без реструктуризации

Управляем GoldenGate экземплярами Capture/Delivery в ODI Topology

Устанавливаем основные параметры GoldenGate графически

Развертывание процессов GoldenGate Processes via ODI

Поддержка Real-Time и Bulk режима из одного интерфейса

Extract Replicat


Новый технология ‘OWB Runtime Repository’ доступна в Topology

OWB процессы могут быть вызваны с помощью инструмента OdiStartOwbJob

Информация аудита OWB доступна в Operator, ODI Console и Enterprise Manager

Начато бета-тестирование утилиты миграции OWB в ODI

Запуск OWB 11.2 процессов из ODI 12c


Готовое аналитическое хранилище1.

• Бизнес-аналитическое хранилище• Более 300 схем «звезда» • Разработано для анализа и отчетов

2.

Информационные панели по ролям

Метрики на основе Best Practice3. 4.

• Более 10,000 метрик• Дополнительные

предопределенные вычисления• На основе best practices

• Готовые маппинги• Fusion, EBS, PSFT, SIEBEL , JDE, IBM• Безопасность по ролям

• Более 500 информационных панелей и страниц

• Более 3,000 отчетов• Между линиями бизнеса

Сертифицированная интеграция для приложений

Oracle BI Apps: Deeper than Dashboards


Новые возможностиBI Applications 11.1.1.7.1

Новые улучшения контента

Новая система интеграции New TCO инструменты

Новые приложения & адаптеры

Новый OBIEE 11.1.1.7

Oracle Data Integrator

Oracle GoldenGate

Student Information Analytics

Price Analytics for EBS

Конфигурация через GUI Инструмент конфигурации

функционала

Financials: Fixed Assets, Budgetary Analysis HR: Time & Labor, Payroll Analysis Projects: Resource Management, GL reconciliation CRM: Service Contracts, Price Analytics for EBS Procurement & Spend :Sourcing Supply Chan: Costing, Inventory Aging & Cycle Counts

47

Oracle GoldenGate VeridataСравнение данных без остановки

• Высокоскоростное решение для сравнения данных с низкой дополнительной нагрузкой• Выявляет несоответствия данных между

гетерогенными базами данных• Не прерывает предоставление сервиса

• Плюсы:• Снижает финансовые/юридические риски• Ускоряет и упрощает работу IT при сравнении

источников данных• Не нарушает работу бизнес-систем• Уверенность в дублирующих системах• Уверенность при принятии решении и

формировании отчетности

48

Oracle GoldenGate VeridataСравнение данных без остановки

• Высокоскоростное решение для сравнения данных с низкой дополнительной нагрузкой• Выявляет несоответствия данных между

гетерогенными базами данных• Не прерывает предоставление сервиса

• Плюсы:• Снижает финансовые/юридические риски• Ускоряет и упрощает работу IT при

сравнении источников данных• Не нарушает работу бизнес-систем• Уверенность в дублирующих системах• Уверенность при принятии решении и

формировании отчетности


ALEXANDER RYNDIN

Ведущий консультант по

пространственным технологиям и

технологиям хранилищ данных

Moscow,Presnenskaya nab., 10, Block C

phone +7(495) 641-1400fax +7(495) [email protected]://www.oracle.com/http://www.oraclegis.com/

Oracle CIS

Мой блог: http://www.oraclegis.com/


Graphic Section Divider

Новые возможности платформы Oracle 12c для хранилищ данных

Technology

Transcript of Новые возможности платформы Oracle 12c для хранилищ данных