Webinar Oracle Data Integrator 12c (ODI)

Data Integrator 12cMoving Data to Transform Business

Raúl Tarifa VegaBusiness Analytics Solution Specialists Webinar

Webinar

Índice

© avanttic Consultoría Tecnológica, S.L. 2

1 Introducción

2 Arquitectura de ODI 12c

3 Desarrollo con ODI 12c

4 Big Data con ODI 12c

5 Integración con otras herramientas

6 Migración de OWB 11g (Warehouse Builder) a ODI 12c

7 Actualización de ODI 11g a 12c

8 Oracle Data Integrator Cloud Service

9 Conclusiones

Webinar

Introducción

• Pertenece a la línea de productos de Business Analytics

• Es la herramienta de integración de datos estratégica de Oracle

3 © avanttic Consultoría Tecnológica, S.L.

Oracle Data Integrator (ODI) en el portfolio de Oracle

Data Integration Engineered SystemsPackaged Analytics

& EPM Apps

Data Analytic

Tools

ODI 12c

Webinar

Introducción

Es el proceso combinar datos que residen en diferentes fuentes para

permitir al usuario final tener una vista unificada de todos sus datos,

mediante:Diseño Declarativo (KM)

Desarrollo orientado a flujos

Reutilización de código

Rendimiento optimizado para Oracle:

Particionado/Paralelismo/Hints/Merge/Inserts multiples destinos

Simulación ejecución

Depuración paso a paso

Funcionalidad extensible y/o customizable

¿Qué es la Integración de Datos?


Webinar

Introducción


Necesidades actuales en la integración de datos

Cualquier Fuente

de datosReal Time,

Quality Data

Máximo rendimiento,

Alta disponiblidad

Interna o en

la Nube

Integrada,

Alta productividad

Webinar

Introducción


Desarrolla con ODI

Webinar

Introducción

• Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones

• BD Heterogéneas, cualquier fuente BBDD, XML, …

• Real time Data Warehouse

• Con sus KM’s para CDC

• Mediante integración con OGG (GoldenGate)

• Diseñado para arquitecturas SOA

• Funcionalidad para Master Data Management (MDM)

• Alta disponibilidad

• Consolas monitorización infraestructura y ejecuciones

• Conectores para BigData

• Funcionalidad para Data Quality

• Desarrollo de alta productividad7 © avanttic Consultoría Tecnológica, S.L.

Principales características de ODI 12c

Webinar

Índice


1 Introducción








9 Conclusiones

Webinar

Arquitectura de ODI 12c

• Repositorios

• ODI Studio

• Agentes

• Componentes J2EE

• Management Pack


Componentes

Webinar


Almacenados en esquema en BD

• Repositorio Master• Topología de la infraestructura IT

• Información de seguridad

• Objetos versionados y archivados

• Repositorios:

Work (n Entornos de Desarrollo)• Estructuras de datos (Modelos)

• Proyectos

• Información de ejecución

Exec (n Entornos Ejecución)


Repositorios de ODI

Master Work

Exec

Webinar


• Tipos Agente

• Standalone

• Collocated

• J2EE

• Responsabilidades

• Listener

• Scheduler

• Procesos java ejecutándose

próximos al host de BD


Agentes ODI

Cualquier origen Cualquier destino

ODI J2EE(Dominio WLS)

ODI

ConsoleJ2EE Agent

Standalone

Agent

(Dominio WLS)

Collocated Agent

RepositorioODI

Cliente (Cualquier Plataforma)

ODI Studio

…

Cliente webODI

Console

Webinar


• Interface web

• Monitorizar resultados

de ejecución

• Lanzar procesos

• Linaje y flujo de datos


ODI Console

Webinar


• Gestión y Rendimiento

• Gestión Configuración

• Gestión SLM

• Análisis histórico y reporting


ODI Management Pack

Webinar

1 Introducción








9 Conclusiones

Índice


Webinar

Desarrollo con ODI

• Topología

• Designer

• Data Model

• Proyectos• Mappings

• Packages

• Execution Plans

• Procedures

• KM’s

• Operador

• Monitorizar estado ejecuciones

• Programación

• Seguridad


ODI Studio

Webinar

Desarrollo con ODI

Define

• Fuentes de datos• Origen

• Destino

• Staging

• Modelos datos• Lógico

• Físico

• Contextos de ejecución

• Agentes en nuestra infraestructura

• Repositorios ODI existentes


Topología

DIA

gen

t_D

ES

DEV

PRO

Webinar

Desarrollo con ODI

Modelo

• Describe conjuntos de Datastores(Atributos, claves, filtros y condiciones)

• Ingeniería inversa

• Define reglas integridad(Estáticas/Flujo)

• Configuración para CDC


Designer

Webinar

Desarrollo con ODI

Contenido de un Proyecto

• Variables, Secuencias

• Procedimientos

• Funciones

• Mappings (Interfaces)

• KM’s

• Packages

• Load Plans


Designer

Múltiples implementaciones función

Webinar

Desarrollo con ODI

Perspectivas

• Lógica

• Física


Estructura de un mapping

Propiedades Físicas• Esquemas: destino, staging• Estrategia de carga (KM)• Opciones (Borrar temporales,

autocommit, ….)

Lógica de negocio• Objetos de datos y sus Relaciones• Filtros Restricciones

Webinar

Desarrollo con ODI

Plantillas de código especializadas en la ejecución de un tipo de tarea

• LKM

• IKM

• CKM

• JKM

• RKM

• SKM


Knowledge Modules (KM)

Webinar

Desarrollo con ODI

• Objetos ejecutables

• Mappings

• Paquetes

• Load Plans

• Procedures

• Escenarios (Casos)

• Ejecución

• Interactiva

• Programada

• Simulación

• Ver resultado ejecución (Operador)


Ejecución de procesos ELT

Webinar

Desarrollo con ODI

Packages

• Define secuencia ejecución• ODI Tools

• Mappings

• Procedimientos

Load Plans

• Definen el flujo de carga• En serie

• En paralelo

• Ejecuta escenarios

• Diferentes tipos de reinicio

• Ejecución parcial


Orquestar el flujo de datos

Webinar

Desarrollo con ODI

• Objetos debugables

• Mappings

• Escenarios

• Procesos

• Paquetes

• Sobre cualquier agente(sesiones en ejecución)

• Ejecución paso a paso

• Edición sentencias SQL

• Ejecutar código modificado


Debugger integrado

Webinar

Desarrollo con ODI

• Dos modos de journalizing

• Simple

• Consistente

• Modelo publicación/suscripción

• Journal/Vistas

• Procesos de captura

• Suscriptores

• Dos implementaciones

• Análisis Log transacciones

• Triggers

• ODI automatiza procesos

• Despliegue

• Control


Realtime Data Warehouse con Change Data Capture (CDC)

Webinar

Desarrollo con ODI

• KM’s y Substitution API

• SDK

• Groovy scripts

• Puede utilizar comandos del SDK

• Automatizar edición/ejecución masiva objetos


Extendiendo/Personalizando ODI

Webinar

1 Introducción







8 Oracle Data Integrate Cloud Service

9 Conclusiones

Índice


Webinar

Big Data con ODI 12c

• Integración de datos en Hadoop

(Sistema ficheros local / HDFS / Hbase / BD SQL estándar)

• Realizar validaciones y transformaciones de datos en Hadoop

• Llevar los resultados obtenidos en Hadoop a otro almacén de datos

(Oracle / BD SQL estándar / Hbase)

• Disponible a partir de ODI 11.1.1.6

• Se licencia por separado


Application Adapter for Hadoop (ODIAAH)

Webinar28 © avanttic Consultoría Tecnológica, S.L.

Big Data con ODI 12c

Nombre (KM) Propósito Origen Destino

LKM File to Hive Cargar datos de local o HDFS en tablas Hive File system Hive

IKM Hive Control Append Integra datos en Hive en modo truncate/insert Hive Hive

IKM Hive Transform Integra datos en Hive una vez transformados con un script desarrollado en Perl/Python

Hive Hive

IKM File-Hive to Oracle (OLH-OSCH)

Integra datos desde HDFS o Hive en tablas Oracle File system/Hive Oracle

IKM File-Hive to SQL Integra datos desde HDFS o Hive en BD SQL File system/Hive BD SQL

IKM SQL to Hive-HBase-File Integra datos desde BD SQL en HDFS/Hbase/Hive BD SQL Hive/HBase/ HDFS

IKM Hive to Hbase Incremental Update

Integra datos desde Hive a Hbase, pudiendo realizar insert/update.

Hive HBase

LKM HBase to Hive Cargar datos de Hbase a Hive HBase Hive

CKM Hive Validar cumplimiento restricciones - Hive

RKM Hive Ingeniería inversa de tablas Hive - Hive

RKM HBase Ingeniería inversa de tablas Hbase - HBase

KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)

Webinar

1 Introducción








9 Conclusiones

Índice


Webinar

Integración con otras herramientas

• Cualquier agente puede exponer

transformaciones de ODI como WS

• Los agentes J2EE pueden

exponer Data Services

• Invocar Web Services y

procesar su respuesta


Arquitectura SOA

Webinar


• Funcionalidad EDQ

• Profiling

• Validar direcciones

• Estandarización/Análisis Sintáctico

• Combinar y enriquecer registros

• Integración EDQ con ODI

• Mediante ODI Tools

• Monitorización estado jobs EDQ en Operador

• Disponible desde 11.1.1.6


Enterprise Data Quality (EDQ)

Webinar


• OGG transformaciones básicas “in-row” /

ODI transformaciones complejas (lookups, …)

• Rendimiento OGG optimizado al procesar microbatches con ODI

• Mismo mapping soporta bulk-loads y microbatches

• GG es menos invasivo que CDC


Oracle GoldenGate (OGG) para Real Time Data Warehouse

32

EMP DEPT

DIM

FACT

DIM

DIMDIM

ODS SchemaDW Schema

Oracle BI

Log-based, Real-time Data Feeds

EMP DEPT

Oracle GoldenGateSource OLTP

System

trans2 trans1trans3

Batch Feed

Historic AnalyticsReal-time Analytics

Oracle Data Integrator

& Data Quality

Webinar


• Linaje de los datos

• Análisis de impacto


Master Data Management (MDM) con OBIEE

Webinar

1 Introducción








9 Conclusiones

Índice


Webinar

• Porque…

• OWB 11.2 es versión terminal

• “Premier Support” de OWB 11.2 finalizó

en enero de 2015

• La BD 12.x no incluye OWB en la instalación

• OWB 11.2 NO estará certificado en BD > 12.1

• Ahora

• Oracle provee utilidad de migración de OWB 11.2.0.x a ODI 12.1.y*

• Rediseño filosofía desarrollo de ODI orientándola a flujo

Migración de OWB 11g a ODI 12c


¿Por qué, cuándo y cómo?

*(x>= 3, y>=4)

Webinar


• Gradualmente

• Integrando desarrollos OWB en los flujos ODI

• Migrando automáticamente los proyectos OWB a ODI (utilidad migración)

• Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable)


¿Por qué, cuándo y cómo?

Webinar


1) Rediseño intuitivo de la filosofía: orientado a flujos.

2) Ejecuta las transformaciones en las BBDD existentes en lugar de tener un servidor intermedio robusto de usoexclusivo para el motor de transformación.

3) Permite utilizar cualquier motor de BBDD como motor de transformación reduciendo los costes y aumentandoel desempeño.

4) La arquitectura de ODI permite trabajar de manera declarativa (Cero Código SQL) reutilizando las mejoresprácticas de carga y extracción de datos a partir de plantillas ya predefinidas (Knowledge modules - KMs).

5) Arquitectura Nativa y Compatible con SOA. Todas las tareas y el control de los procesos de integración estánexpuestos como servicios gracias a un agente en java.

6) No tiene restricciones de marca o versión del motor de BBDD que se utilice como motor de transformación ocomo destino de la información.

7) Menor costos de implementación en cuanto a la curva de aprendizaje, el hardware utilizado y la capacidad eacoplarse a una infraestructura de SOA existente dentro de la organización.

8) El producto sigue evolucionando hacia el futuro, siendo compatible con nuevas tecnologías como Big data…

Principales Funcionalidades de ODI frente a OWB


Webinar

1 Introducción





6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 12c


8 Oracle Data Integrate Cloud Service

9 Conclusiones

Índice


Webinar

Actualización de ODI 11g a 12c

• Nomenclatura (interface => mapping)

• Filosofía de desarrollo

• Dos implementaciones de KM: Template style / Component style

• Desarrollo de mappings orientado a flujo

• Desaparecen interfaces temporales

• Aparecen reusable mappings

• Múltiples destinos en un mismo mapping

• Aparecen Collocated Agents

• Conversión de internal ID a Global Unique Identifiers (GUID)

• Mejora rendimiento

• Ejecución en paralelo automática

• Ejecución tareas concurrentemente


¿Qué ha cambiado?

Webinar

Actualización de ODI 11g a 12c

• Modos ejecución ODI 12c

• Mappings nativos 12c

• Compatiblidad 11g

• ¿Cómo generar mappings en modo compatibilidad?

• Activando opción en la utilidad de actualización

• Mediante una opción antes de importar un mapping

• Todos los módulos se ejecutan de la misma manera

• Es posible convertir mappings compatibles 11g a 12c


Modo compatibilidad

Webinar

1 Introducción





6 Migración de OWB 11g (Warehouse Builder) a ODI 12c12c



9 Conclusiones

Índice


Webinar

Oracle Data Integrator Cloud Service


Facilidades en Cloud

Acelere Desarrollos y Análisis

• Implemente ODI en Oracle Public Cloud y

ejecute cargas de trabajo de E-LT en Oracle

Platform as a Service

• Mejor procesamiento de inserción, para un

ETL de alto rendimiento en cloud, con

menos movimiento de datos

Costos de desarrollo más bajos

• Integración nativa con Oracle Database

Cloud Service, Exadata Cloud Service, Big

Data Cloud Service y Java Cloud Service

• Costos de infraestructura y mantenimiento

reducidos con ODICS

Potente solución de nube híbrida

• Suscripción mensual o a medida

Webinar



Integraciones Cloud

• Integración Ficheros diarios y

Programados

• Integraciones Configurables

• Integración datos con archivos XML

• Integración incorporada con BICS

• Integración incorporada con DBCS

• Integración Información histórica

ICS

integraciones en tiempo real con otras SAAS

API SOAP

• Invocaciones WS

• Datos disponibles, para mayor Capacidad

• políticas OWSM

API REST

• Futuro inmediato

• Estará disponible en

las siguientes

versiones

Webinar



ETL-ELT en Cloud All Data Warehouse

1. Disminuya los costos de su EDW

ejecutándose en PaaS o LaaS

2. Movimiento de datos más rápido en tiempo

real o por lotes con ODCS y GGCS

3. Maximice el rendimiento de sus procesos de

ODI y Data Warehouse con la computación

en la nube

4. Consolide todos sus datos en un solo lugar

para sus análisis

5. Tiene las Innovaciones con las últimas

tecnologías en base de datos y Big Data para

una visión más rápida

Webinar



Resumen Moviento de Datos1. Opciones ORACLE VPN, Oracle Cloud se

convierte en una extensión de su propia red

2. Sin VPN, los datos locales se pueden transferir

a través de Oracle Storage CS, automatizado

utilizando ODI

3. ODI admite la integración con GoldenGate

Cloud Service para el movimiento de datos en

tiempo real

4. ODI respalda los servicios de SaaS a través

de los servicios RESTful o adaptadores de

terceros

5. Los datos se transforman en una base de

datos relacional o Hadoop utilizando los motores

de procesamiento de datos: SQL o Hive

Webinar

1 Introducción








9 Conclusiones

Índice


Webinar

Oracle Data Integrator 12c

• ODI 12c es una inversión segura

• Consolida la experiencia de OWB y ODI para ofrecer elevada productividad

• Amplia cobertura funcional, pero extensible y costumizable

• Alta disponibilidad, monitorización

• Preparada para el presente … y el presente inminente

• Conectores Big data

• Real time (CDC, OGG)

• Momento para migrar de OWB 11g a ODI 12g

• Momento para ir a CLOUD


Conclusiones

Webinar

Oracle Data Integrator 12c


Preguntas

[email protected]

Para más información contacte con nosotros a través de [email protected]


BARCELONA

Aragó 182, 4ª planta

08011 Barcelona

Tel. 93 151 84 51

MADRID

Poeta Joan Maragall 38, 6º B, Edificio Cuzco II

28020 Madrid

Tel. 91 116 17 89

el partner

Webinar Oracle Data Integrator 12c (ODI)

Technology

Transcript of Webinar Oracle Data Integrator 12c (ODI)