Oracle Day 2011 · Élet a Warehouse Builder után, avagy mit hoz a Data Integrator? Oracle Day...

Élet a Warehouse Builder után, avagy mit hoz a Data Integrator?

Oracle Day 2011

2011. november 8.

Szabó Gábor Csoportvezető, Vezető tanácsadó

Üzleti Intelligencia

R&R Software Zrt.

© R&R Software Zrt. 2011

A téma aktualitása


Miért az R&R Software?

• ODI projekt: T-Com Hyperion Planning bevezetés

• Oracle University oktatások megtartása • Magyarország

• Skócia

• Szlovákia

• USA

R&R Software’s trainer „spoke clearly and confidently about the subject. He demonstrated a clear understanding about the tool

and was able to explain the concepts well."


Tartalom

• Oracle adatintegrációs eszközök

• Oracle Data Integrator architektúra, működési elv

• Az ODI és • a GoldenGate

• az Oracle BIEE Suite Plus

• a SOA

• a Hyperion

• az adatminőség

• Mikor válasszuk az ODI-t?


Adatintegáció Oracle módra

MDM Applications

SOA Platforms

Oracle Applications

Business Intelligence

Activity Monitoring

Custom Applications

Oracle GoldenGate

Log-based CDC

Data Replication

Real-time Data

SOA Abstraction Layer

Service Bus Process Manager Data Services

Oracle Data Integrator

ELT/ETL

Data Transformation

Bulk Data Movement

OLTP System

Flat Files Data Warehouse/ Data Mart

OLAP Cube Web 2.0 Web and Event Services, SOA Exadata

Data Verification

Oracle Data Quality

Data Profiling

Data Parsing

Data Cleansing

Data Federation

Data Lineage Match and Merge

Comprehensive Data Integration Solution


Bármilyen adattárház

Bármilyen OLAP, tervező rendszer Tranzakciós

adatbázisok

Alkalmazások

Legacy rendszerek

Platformfüggetlen

Nyílt rendszer, standardokra épül

Egyszerű használat

Nagy teljesítmény és skálázhatóság

Alacsony üzemeltetési költség



Desktop

Repositories

ODI Studio

Operator

Designer

Topology

Security

ODI Master

Repository ODI Work

Repository

Sources and Targets

Legacy Applications

ERP/CRM/PLM/SCM

Files / XML DBMS DW / BI / EPM

JVM

Java EE

Application

ODI SDK

WebLogic 11g / Application Server

Data Sources Connection Pool

Web Service Container

Public WS Data

Services

FMW Console

ODI Plug-in

Servlet Container

ODI Console

Java EE

Application

ODI SDK

Runtime WS

Java EE

Agent

JVM

Run-time WS

Standalone

Agent

Open Web Services for

decoupled invocation of

any ODI jobs

Heterogeneous access

SDK APIs for Java

generation of any

ODI system

metadata

Metadata is an open

relational model

with built-in Flex

Fields

OpenTools for

adding OS

functionality to any

ELT/ETL job

ODI architektúra


Tradicionális ETL architektúra

Extract Load Transform

ODI megközelítés

“E-LT”

Load Extract

Transform Transform

E-LT kontra ETL

• Teljesítmény-optimalizálás

• Az adatbázis képességeinek kihasználása

• Nincs szükség transzformációs szerverre

• Meglévő hardver infrastruktúra használata

• Hálózati forgalom optimalizálása


D A

B

File

C

C$_0

C$_1

LKM

LKM

IKM

I$ E$ (Errors)

CKM IKM

RKM

JKM

Check-Load Transform Extract-Load

ODI

Agent

Apps Business Intelligence

Az ODI Agent bárhova

telepíthető Natívan támogatja a

legismertebb adattárház

platformokat.

E-LT architektúra Data Integrator-al

• 100% Java • Adatbázis CPU használat, alkalmazás CPU helyett


Hagyományos ETL fejlesztés • Minden egyes lépés megadása fejlesztéskor • Rendkívül erőforrás igényes mind a

fejlesztés mind a karbantartás során

ODI Declarative Design megközelítés • Automatikusan generálja a töltési folyamatot • Csökkenti a fejlesztési lépések számát • Egyszerűsíti a folyamatot

Előnyök Csökken a betanulási idő Rövidebb fejlesztési szakasz Nem IT szakemberek számára is érthető

Hagyományos ETL fejlesztés

ODI Declarative Design

Hogyan: Beépített sablonok

Mit akarunk

Automatikusan legenerálja a

folyamatot

1 2

„Declarative Design”


ODI Knowledge Modules

Staging Area

Extract/Join/Transform

Extract/Transform

Join/Transform Mapping - SALES = SUM(LINES.AMOUNT) +

CORRECTION.VALUE.

- SALES_REP = ORDERS.SALES_REP_ID

…

Filter - ORDERS.STATUS=CLOSED

…

Constraints

-ID is flagged not null in the model.

-Unique index UK_ID is declared on

table SALES.

…

Join - ORDERS.ORDER_ID = LINES.ORDER_ID

…

KM

TEMP_1

TEMP_2

TEMP_

SALES

1

2

3

4

5

Transform and integrate


Kódgenerálás

Generated code Truncate Table SCOTT.EMP

Insert into SCOTT.EMP

Select Round(Sum(Sal*Coeff)) …

Begin … If .. Then … Else

ftp ...

Implemented business

rules Inc_net = Round

(Sum(Inc * coeff))

Knowledge module Truncate Table <%=odiRef.getTable(« »)%>

Insert into <%=odiRef.getColList(…)%>

Select <%=odiRef.getFrom()%> …

Begin … If .. Then … Else

ftp ...

Fejlesztés

ODI Agent

runs the generated code

Futtatás Truncate Table SCOTT.EMP

Insert into SCOTT.EMP

…

Other metadata

- Topology of your

servers

- Models in servers

- Technology, and

so on

Targets

Sources

plus


Beépített modul minden platformhoz

• Application Adapters for Oracle E-Business Suite, PeopleSoft, Siebel, JD Edwards, SAP ERP and SAP BW.

• Oracle OLAP, Oracle CDC

• Hyperion Planning, Financial Management and Essbase

• Real-Time CDC with GoldenGate

• Optimizations for Teradata and multi-statements

• Oracle DB multi-table insert

• ADF-View Objects via OBI-EE

OLTP, OLAP Sources

Application Sources

Legacy Sources


Enterprise Edition

KMs

KMs

KMs

SAP ERP

Siebel

SAP BW

eBusiness Suite

Oracle Datapump

Oracle DBLink

DB2 Exp/Imp

JMS Queues External Tables

J.D Edwards Oracle

SQL*Loader

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services


Changed Data Capture (CDC)

• Csak a változott rekordok áttöltése

• Teljesítményoptimalizálás

• Valós idejű adattárház

• Szeparált riport adatbázis

• Adatbázis replika magas rendelkezésre álláshoz


ODI CDC vagy ODI + GoldenGate?

ODI CDC Triggerekkel Adatbázis log alapú ODI CDC

vagy IBM AS/400

ODI + GoldenGate

Nem terheli a forrásadatbázist


Az ODI és az Oracle BIEE Suite Plus

• Kész Oracle BI repository és riportok

• Riporton megjelenő adatok nyomon követése

• Futtatási statisztikák


Példa: Riporton megjelenő adatok nyomon követése


Any Data Source Data Warehouse

& OLAP

• Oracle Business Intelligence

• Oracle Performance Management

• Oracle Database, Essbase & Tools

• Oracle Fusion Applications

• Oracle Fusion AIA

• Oracle Fusion Middleware

High Performance

ETL & Replication

Az ODI és a SOA

• Data Service elérés az adatokhoz

• ODI folyamat indítása Web service-ként

• Web service hívása ODI folyamatból


Oracle Hyperion

Planning

Oracle Hyperion

Financial Mgt

Oracle Hyperion

Essbase

Planning API HFM API Essbase API

Oracle | Hyperion Data Access

Data Services Authentication Logging Services

API Layer

Hyperion

Planning

Hyperion

Financial

Management

Hyperion

Essbase

Metadata Discovery

& Model Creation

Extract Data Use

Essbase KM

Extracts Dimension

Members Use

Essbase KM

Loads Data

Loads Dimension

Members

Other Features Cube Refresh Consolidate Calculate

Oracle Hyperion Application Adapters

Oracle Data Integration Suite

Metadata

Lineage

Data Distribution & Delivery APIs

Bulk/Trickle

Loading

Changed Data

Capture

Master

Data

Data Quality

& Profiling

ODI Knowledge Module Framework

Oracle

EBS

PeopleSoft

SAP/R3

Other

Sources

Data

Warehouse

CDC

Message

Queues

Information Assets

Bulk and Real-Time Data Processing

Az ODI és az Oracle EPM (Hyperion)


ODI EE

Oracle Data Profiling

Better Data Visibility

Tighter Data Control

Greater Data Accuracy

Metadata Profiling of Source & Target

Visual Data Quality Tools

Oracle Data Quality

Duplicate Detection, Matching & Merging

Adatminőség


Mikor válasszuk az ODI-t?

Új, „zöldmezős” adattárház projekt

Új, nagyobb fejlesztés meglévő adattárházban

Alkalmazás integráció

Valós idejű adatintegráció

+ Tervezni a meglévő OWB környezetek leváltását


Miben tud segíteni az R&R Software?

• Megvalósíthatósági tanulmány • „Zöldmezős” • Migráció (OWB, egyéb)

• Megvalósítás • Teljes körű projektvezetéssel • Alvállalkozóként

• Oktatás

• Oracle University

• Személyre szabott

• Hot-line, support

Köszönjük!

További információk:

www.rrsoftware.hu

[email protected]


Melléklet

• R&R Software Zrt. cégbemutató

• Megoldások és szolgáltatások

• Iparágak, referenciák

• Üzleti intelligencia és vállalati teljesítmény menedzsment üzletág


R&R Software Zrt. Vezető hazai üzleti alkalmazás szállító

• Alapítva 1991

• Management tulajdonosi kör

• 130+ foglalkoztatott szakértő

• Árbevétel 2010: 1,38 milliárd Ft.

• 1,28 milliárd Ft saját tőke

• Kiemelkedő ügyfél-elégedettség

• ISO 9001:2000 (DNV)


Megoldások és szolgáltatások

Vállalatirányítási rendszerek (ERP)

Ügyfélszolgálati és Számlázási rendszerek

(BSS, Utility)

Ügyfélkapcsolat-kezelési rendszerek (CRM)

Üzleti Intelligencia, Vállalati Teljesítmény Menedzsment (BI – EPM)

Rendszerintegráció és Tanácsadás


Iparágak, referenciák

• Autókereskedések

• Bank

• Élelmiszeripar

• Gyártás

• Kereskedelem

• Közmű

• Telekom

• Egyéb…

…és még sokan mások: http://www.rrsoftware.hu/wps/wcm/connect/rrhu/rr/referenciak/


BI – EPM üzletág Üzleti intelligencia és vállalati teljesítmény menedzsment

Oracle Day 2011 · Élet a Warehouse Builder után, avagy mit hoz a Data Integrator? Oracle Day...

Documents

Transcript of Oracle Day 2011 · Élet a Warehouse Builder után, avagy mit hoz a Data Integrator? Oracle Day...