11 giugno 2008

Progetto CARE

Ludovico FerraraPartner Technology Reply s.r.l.

Club TI Triveneto – Evento Grandi Moli di Dati

2

Reply

3

Revenue & People

Mill

ions

of E

UR

O

Headcount as at Dec. 31

2006

230.2230.21999

244

18.618.62003

875

86862004

1011

1121122005

1277

144.7144.72002

750

77.177.12001

647

60.360.32000

396

33.333.3

1925

2007

277.2277.2

2272

People

5

Focalization

Methodology

Culture

Flexibility

Reply Characteristics

A strong team culture

Reply companies work together and join their

expertise aiming to optimize efficiency and reach

An increased market strenght.

Autonomous and specialized Enterprises

Reply Companies share management philosophy,

Goals and management functional standards,

to guarantee quality, proficiency and effectiveness.

Ethics

Reliability

Honesty

Transparency

6

Reply Companies

Reply Germany

7

> Focused on design and development of Architetture

Service Oriented projects using Oracle Fusion Architecture.

> Location in Milan, Turin, Rome, Treviso

> “Tuned” with Oracle Technology using the

certification program (OCA, OCP, OCM) and joining to Beta

Site Program (Database, Oracle Fusion Middleware).

> Focus on Design and Build up solution for the extended enterprise

using Oracle eBusiness Suite

> Location in Milan, Rome, Treviso

> Functional skills on eBS modules.

> Technological skills in order to implement vertical solution.

Reply: 2 companies focused on Oracle’s proposition

8 8

Some Milestones

1996 20081998

Startup

First Beta Site (Oracle8) then 8i, 9, 10g and OAS Beta Server (Bpel, Esb)

Customer Satisfation Awards for eBusiness Suite

2002

Largest Competence Center on Oracle Application in Italy

2004 20062000

Oracle Certified Partner (Technology)

Certified Advantage Partner (Technology)

OPN Innovation Award

Customer Excellence Partnering

Certified Advantage Partner for eBS

OFM11g Beta Site

9

Our Offer

Application Integration

Architecture (AIA)

eBusiness Suite

OTM, Demantra, Agile PLM

Application SolutionsTechnologies

Enterprise Web2.0 (RIA)

BI & CPM

SOA

Identity & Access Management

Core Technologies

Customers

SOA Methodology (SOA Maturity Model)

Process Design (BPA Suite)

Technological Stack

Methodologies, Processes

10

Progetto CARE

11

Analytic C

RM

Ope

ratio

nal C

RM

CA

RE

Platfo

rm

Customer Analysis, Relation & Experience

12

CARE come supporto al Relation Management

MIDA

RELATION MANAGEMENT

(operatività di marketing)

ATTIVAZIONE GESTIONE ESITO

INBOUND

OUTBOUND

EVENTI

ALTRO

ASSISTENZA

INFOS

RECLAMI

ACQUISTA

NON ACQ.

VALUTA

ALTRO

SERVIZI

GALYLEO

PS8

OBS

GALYLEO

PS8

OBS

Informazioni anagrafiche storiche

Target profilati selezionati

Valore del cliente

Esperienza del cliente

.....

Anagrafiche aggiornate

Esperienza del cliente

Informazioni sintetiche sulla gestione e esiti

.....

EVENTI ACQUISTA

MIDA

RELATION MANAGEMENT

(operatività di marketing)

ATTIVAZIONE GESTIONE ESITO

INBOUND

OUTBOUND

EVENTI

ALTRO

ASSISTENZA

INFOS

RECLAMI

ACQUISTA

NON ACQ.

VALUTA

ALTRO

SERVIZI

GALYLEO

PS8

OBS

GALYLEO

PS8

OBS

Informazioni anagrafiche storiche

Target profilati selezionati

Valore del cliente

Esperienza del cliente

.....

Anagrafiche aggiornate

Esperienza del cliente

Informazioni sintetiche sulla gestione e esiti

.....

EVENTI ACQUISTA

CARE

13

Customer Analysis, Relation & Experience

Relativamente ai consumatori vengono collezionate:• le informazioni utilizzate dalle applicazioni di CRM

applicativo• le informazioni utilizzate dalle applicazioni analitiche

(es.: score di Data Mining)• le informazioni sui prodotti e i servizi e sulle relazioni di

proprietà/uso da parte del consumatore• le informazioni relative alle iniziative di marketing, di

promozione prodotti e servizi• le informazioni sui ritorni da parte dei consumatori alle

iniziative• le informazioni sulle richieste e/o i contatti sui canali di

relazione• le informazioni circa le risposte/azioni intraprese nei loro

riguardi

14

CARE: schema funzionale

CARE Portal

Ad

min

GU

I an

dD

ata

Qu

alit

y M

anag

emen

t G

UI

DataBrowsing

AndSearching

CustomerIdentity

InfosCampaign

Mgr

ContactMgr

[TBV]

DataMiningTool

CustomerIntelligenceReporting

AndAnalysis

Web

Services In

terface

Runtime Services/Components

Schemas / Meta Schemas

CampaignDefinition,

RedemptionMeasures

CustomerAnd

ConsumerSocioDemo

characteristics

Products,Services,Contacts

Tracking History

Contact Management[TBV]

Data Acquisition

Territory,Dictionary

Normalization,Validation,Matching

Rules

Mapping,Transformation,

LoadingRules

P,S&Cdata access

C&Pdata access

Data browsingand

searching services

Data edit services

Data Browsing

Dealerauthorizationmanagement

Appointmentmanagement

Agenda

Contact mgmt [TBV]

Report & analysisengine

Data miningengine

Data martaccess

Data Miningand

Analysis

Adminservices

Admin

DataAcquisitionSubsystem

and Services:

Normalization,Validation,Matching

DataQuality Campaign mgmt

Target extractionschedule

Campaigndefinition

Targetdefin.

15

CARE: Architettura logica acquisizione dati

Pre

pro

ce

ss

ing

(es

.: sp

lit de

i files

, pa

dd

ing

)

Files di alimentazione

DW

I ED

M: m

ap

pin

g p

er fo

rma

ti inte

rni

sta

nd

ard

CA

RE

(es

.: MO

VA

N, M

UR

F)

Liste di alimentazione

Formato standard interno

Formato MURF

Ca

rica

tore

da

ti di p

rod

otto

, s

erv

izio e

co

nta

tto

Care repository

DW

I DN

A: n

orm

alizza

tore

(1), g

en

era

tore

di

ha

sh

co

de

DW

I PA

RT

Y: d

ob

lon

ato

re e

ca

rica

tore

da

ti a

na

gra

fico

ne

lla b

as

ed

ati

(1) per alcuni mercati si usano algoritmi di normalizzazione di terze parti (es.: ASSESSO Datacare per il brasile)

16

• Oracle Database 10.2.0.3.0 Enteprise Edition

– Data Mining Option

– Partitioning Option

– Oracle Workflow

• Oracle Application Server 10.1.2.2.0 Enterprise Edition; relativamente alle sue componenti viene utilizzato il conteiner java OC4J e le componenti runtime di Oracle Discoverer

• Oracle Discoverer 10.1.2 (in piano il passaggio ad Oracle BI EE)

• Oracle Warehouse Builder 10.2.0.1

• SPSS Clementine Server 10.1

• Microfocus Cobol Server Express 4.0

• Piattaforma di normalizzazione DWI costituita da:– Mappatura e configurazione flussi dati (modulo EDM)

– Normalizzatore e codificatore hash (moduli specifici per mercato es.: DNA 5.0 per l’Italia oppure DNA 5.0 con integrazione engine di normalizzazione ASSESSO di Datacare per il brasile)

– Deduplica e caricamento dati DB (modulo PARTY)

– User Interfaces per configurazione prodotti DWI (design time), per ricerca, navigazione e aggionarmento delle tabelle del sottosistema di acquisizione anagrafica (run time)

CARE: software di base e prodotti

17

Care: architettura fisica

DMZ

HTTPS

Load Balancer

Application Server

Database Server

HTTPS

Reverse Proxy

Intranet FIAT AutoInternet

18

Le dimensioni della base dati

• Allocazione RDBMS produzione: 1800 Gb• Allocazione RDBMS certificazione: 1100 Gb

• Consumatori (IT): 51,5 M– Aziende: 4,5 M– Privati 47 M

• Veicoli (IT): 52,5 M– Gruppo FIAT 22,5 M– Concorrenza 30M

• Ordini (IT): 9 M (800 K/anno)• Finanziamenti (IT): 3 M (77 K/anno)• Estensioni di garanzia(IT): 1,6 M (77 K/anno)• Interventi (garanzie, soccorsi, etc.): 17,5 M (1,5 M/anno)• Contatti(IT): 38 M

• Per il mercato Italia: ca. 20 flussi dati e aggiornamenti di codifiche al giorno; ca. 25 flussi acquisiti su base settimanale

19

Grandi moli di dati: il punto di vista applicativo

20

Design: capacity planning

• Spazio disco: definizione delle principali entità e calcolo delle loro occupazioni

• Risorse elaborative DB server: definizione della numerosità degli accessi ai dati secondo una classificazione (complessi, medi e semplici); interpolazione con i risultati dei test TPC

• Risorse elaborative Application Server: definizione della numerosità dell’utenza e del tipo e della frequenza di accesso al sistema; interpolazione con i risultati dei test SPECjAppServer2002

21

Data Mining

CustomerIntelligence

Design: modelli dati dedicati

Repository

DB

Operational

DB

Customer Intelligence Data Mart

Data Mart Analysis

Data acquisition engine

Data Information flows

22

DB application: set based vs row basedSet Based: il set di dati viene elaborato con un unica chiamata SQL. • Vantaggi

– prestazioni molto elevati– Codifica software molto strutturata

• Svantaggi– L’anomalia su un singolo record invalida tutta l’operazione – Tracking delle operazioni più complesso – Codifica software più complessa

Per un utilizzo efficace, tale approccio richiede l’implementazione di uno step propedeutico di trattamento dati per prevenire tutte le possibili cause di anomalia.

Row Based: il set di dati viene elaborato con una chiamata SQL per ogni record.• Vantaggi

– Consolidamento dell’operazione sul singolo record (commit) – Semplicità di Tracking delle operazioni– Codifica software più semplice

• Svantaggi– Prestazioni scarse nel caso di manipolazioni a blocco di grosse moli di dati

E’ un approccio indispensabile nelle situazioni dove a seconda dell’esito della singola operazione si condiziona il passo successivo.

23

DB application: opzione Oracle Partitioning

Tabella partizionata: tabella nella quale i dati sono fisicamente segmentati a seconda del valore della/e chiave/i di partizionamento.Es.: Nelle operazioni di accesso ai dati, specificando la chiave di partizionamento, si utilizzerà soltanto il relativo segmento e non tutta la tabella.

• Vantaggi – Ricerche più rapide, soprattutto nelle situazioni in cui sia necessario un table

scan.– Svecchiamento della base dati più efficace (drop di singole partizioni)– Ogni partizione può avere caratteristiche di storage diverse– Distribuzione della tabella segmentata su Tablespaces diversi

• Svantaggi– Ricerche penalizzate nelle situazioni in cui non venga specificata la chiave di

partizionamento– Necessità di intervenire sulla struttura nelle situazioni in cui la chiave di

partizionamento assuma nuovi valori per i quali non era stata definita una partizione

– Il valore della chiave di partizionamento non è aggiornabile

24

DB configuration: l’uso del parallelismo

• Real Application Cluster: utilizzo del parallelismo a livello di nodo server di elaborazione

• Parallelizzazione applicativa: con il disegno di una strategia opportuna per evitare i conflitti e la contesa delle strutture dati è possibile lanciare elaborazioni parallele che vengono risolte dal server RDBMS

• Parallelizzazione del motore SQL: specie nel caso di approcci Set Based il motore può sfruttare l’architettura multiprocessore dei server per parallelizzare l’accesso e la monipolazione dei dati

25

DB configuration: utilizzo di Hints

• Il motore del database normalmente determina autonomamente il miglior piano di esecuzione per la risoluzione di una query.

• Il piano di esecuzione viene definito sulla base delle statistiche calcolate periodicamente sui dati presenti nelle diverse tabelle.

• Qualora si verifichino dei grossi cambiamenti nelle tabelle rispetto alle statistiche il piano potrebbe non essere più ottimale

• In alcuni casi è comunque necessario intervenire manualmente definendo un piano alternativo condizionando il comportamento del motore con direttive che si chiamano hint.

• Questa attività è molto delicata e complessa, per cui deve essere effettuata soltanto quando indispensabile.

26

DB configuration: utilizzo di Hints (esempio)

• Una tabella di staging, sulla quale è presente una PK, è normalmente vuota. La statistica dice che non ci sono record e quindi l’ottimizzatore non può sfruttare l’indicizzazione della PK, in quanto non ha informazioni per orientarsi.

• Una procedura carica massivamente dati sulla tabella. Poichè l’indice sulla PK non viene usato per la verifica di univocità, le prestazioni degradano; all’aumentare dei record aumenta anche il costo della ricerca sequenziale

• Impostando un hint che forzi sempre l’utilizzo dell’indice sulla PK, si migliorano le prestazioni sull’inserimento massimo dei record

27

DB configuration: data compression

E’ possibile configurare la compressione delle aree di memorizzazione fisica dei dati su disco (Tablespace)Questo meccanismo è stato utilizzato per l’ambiente di certificazione, consentendo di poter replicare tutti i dati in produzione con un costo di spazio disco ridotto

• Vantaggi:– Riduzione dei costi: occupazione dello storage ridotta del 40% (da

1.8TB a 1.1TB)– In determinati casi (operazioni di lettura, e di insert) aumento delle

performance

• Svantaggi:– Nelle operazioni di aggiornamento degrado delle performance– Maggiore complessità nelle operazioni di allineamento tra ambiente

di produzione e certificazione

28

Case Study: Data Mart Analysis

Data Mart Analysis: caricamento integrale settimanale

Fase Note Durata

0 MIDA:

Tecnologia SAS, basata su file System

40 ore

1 CARE:

Tecnologia Oracle, hardware partizionato

30 ore

2 CARE:

Tecnologia Oracle,

Hardware non partizionato

20 ore

3 CARE:

Tecnologia Oracle,

Hardware non partizionato,

Tablespace compression

19 ore

29

Gli impatti sulla Web Application

• Il modello dati è stato progettato in modo ottimale per il suo trattamento (es.: informazioni nella loro forma più aggiornata, uso della denormalizzazione, etc)

• Utilizzo dei meccanismi di cache delle componenti di Object Relational Mapping

• Per le estrazioni utenti si realizza l’accesso ai dati in background secondo i criteri di query selezionati e si effettua un pre-calcolo della lista da estrarre (in xml). In un secondo momento si trasforma (uso di xsl) la lista nel struttura e nel formato specifico dell’estrazione richiesta

• Utilizzo di pull parser ovvero parser che consentono le trasformazione di grandi documenti XML con un uso limitato della memoria e compressione dei files per il download

30

Contact

Ludovico FerraraPartner Technology Reply s.r.l.

l.ferrara@reply.it www.reply.it

Q&A