Power Center ferramenta Etl

8/16/2019 Power Center ferramenta Etl

1/30

Carlos Eduardo Fernandes


2/30

Power Center

É uma ferramenta de software cuja função é a extraçãode dados de diversos sistemas, limpeza de dados,transformação desses dados conforme regras de negcios ep!r "m a carga dos dados geralmente em um #ata $art eum #ata %are&ouse'

( processo de E)* é uma das fases mais cr+ticas edemoradas na construção de um #ata %are&ouse #%-,aproximadamente cerca de ./0 do tempo de um projeto de#% são gastos na fase de construção de scripts e extraçãode dados'


3/30


4/30

6m dos grandes trunfos dele é a porta:ilidade'

=ão existe a necessidade de um :anco de dadosespec+"co para 8ue a ferramenta funcione, ela acessainformaç>es de :ases &eterog?neas de praticamente8ual8uer distri:uidor, inclusive de mainframes'

7 estrutura do Power Center suporta processamento dedados tanto em :atc& como em tempo real'


5/30

@ers>es do Produto

Standard:

Processamento de A$* :2sico, 1ntegração de dados em lotes-B

Advanced:7lta disponi:ilidade, #esenvolvimento e controle de vers>es:aseados em e8uipe-B

Premium:

$onitoramento e alertas, @alidação de dados, )este de unidadee sistema, @eri"car a validade dos dados operacionais-


6/30

Real Time:

;erviços da %e:, Conectividade em tempo real-B

Big Data:

7n2lise de ar8uivos não estruturados, Processamento de

linguagem natural-B Power Center Dig #ata Edition é um software de integração dedados corporativos de alto desempen&o e dimension2vel,

Fornece 1ntegração de dados :aseada em HadoopB

adoop é uma plataforma de software em Gava de computaçãodistri:u+da voltada para clusters e processamento de grandesmassas de dados'


7/30

Hepositrio do PowerCenter

É um :anco de dados relacional gerenciado pelo;erviço de Hepositrio'

Ele consiste em ta:elas de :anco de dados 8uearmazenam metadado'

(s metadados descrevem diferentes tipos de o:jetos,como mapeamentos e transformaç>es, 8ue voc? podecriar ou modi"car usando as ferramentas do Cliente doPowerCenter'

( ;erviço de 1ntegração utiliza os o:jetos derepositrio para extrair, transformar e carregar dados'


8/30


9/30

Conceitos D2sicos so:re o

funcionamento da ferramenta Mapa:

É um o:jeto 8ue contém a lgica da carga dos dados' 1r2conter componentes tais como sources, targets, joiners,expressions e outros'

Sources:

;ource signi"ca fonte ou seja todo a :ase de informaç>es8ue voc? necessita para desenvolver a sua construção dosmapas, nela é poss+vel importar dados de uma Danco de#ados, 7r8uivos )extos, Aml e outros'

Targets

)argets alvo- signi"ca o destino "nal do seu mapa pode serum ar8uivo texto, xml ou uma :ase se dados'


10/30


11/30

Mapa "T#

$% Source &uali'er #escreve as caracter+sticas de uma fontede dados ou um ar8uivo'

(% Trans)ormation $odi"ca so dados antes de escrever no

target' 6se diferentes o:jetos de transformação para executarfunç>es diferentes'

*% Target de'nition #e"ne a ta:ela ou ar8uivo de destino'

+ % #inks Conecta fonte de dados e destinos e transformaç>es

para 8ue o serviço de integração possa mover e transformar osdados'


12/30

M,dulos do Po!er -enter

Repositor. Manager

É uma ferramenta voltada para administração dorepositrio'

Com ela podemos criar projetos, usu2rios, gerenciarpermiss>es, e v2rias outras funç>es relacionadas Jadministração do repositrio'


13/30

Designer

Principal ferramenta do software'

É através do #esigner 8ue conseguimos construir osprocessos E)* mapas-'

6m mapa mais simples deve ser composto por um source,um source 8uali"er e um target'

Para construir um mapa, primeiro deve ser importado osmetadados da ta:elaKar8uivo do source e target para orepositrio'


14/30


15/30

Worko! Manager

É uma ferramenta 8ue permite executar, agendar asexecuç>es dos procedimentos E)* no servidor E)*'

=ela podemos tam:ém criar conex>es do servidor com o:anco de dados'

Para executarmos a carga de um mapa constru+do no#esigner precisamos criar uma session uma tasI- e colocaresta session dentro de um worI


16/30


17/30

Worko! Monitor

É uma ferramenta 8ue permite visualizar, monitorar, parar,a:ortar e reexecutar os processos no servidor E)*B

7lém de visualizar logs dos processos em execução e osLltimos executados'


18/30


19/30

Desempenho=os testes internos de refer?ncia, em relação a uma

solução l+der de software livre, o Power Center apresentoudesempen&o superior em tarefas de integração de dados,incluindo uma alocação de memria 3M vezes mais r2pida econex>es 5,3 vezes mais r2pidas'

-onectividade

inclui conectores prontos de integração de dados para asfontes de dados mais comuns, como :ancos de dados

relacionais (racle, #DM, ;N*, ;O:ase, (#DC, G#DC-, A$*,ar8uivos simples, serviços da %e:, redes sociais incluindoFace:ooI, )witter e *inIed1n-B

7lém de ar8uivos semiestruturados P#F, %ord, Excel,PowerPoint-'

@antagens


20/30

Testes:

Com:ina testes de validação de dados automatizados,audit2veis e repet+veis, contendo alertas proativos e de

monitoramento para avisar os usu2rios caso surjam pro:lemasem seus processos operacionais e de desenvolvimento'

/ava Trans)ormation

6tilização da linguagem Gava para transformação dos dados'

@oc? pode através deste componente criar loops para geração dedados

S Trans)ormation

Healiza comandos ;N* no meio de um


21/30

Processamento em tempo real:

7 plataforma da ferramenta permite o acesso real9time a :asetransacional para 8ue os dados sejam atualizados com a velocidadee necessidade exigida pelo negcio'

Permite 8ue o usu2rio desenvolva um processo de carga8ue seja capaz de analisar a :ase de dados de origem e atualizarno #ata ware&ouse apenas o dado 8ue foi atualizado na8uelemomento, otimizando assim o consumo e tempo de execução da

carga'

( mais interessante disto é 8ue não &2 necessidade da criaçãode triggers, procedures ou 8ual8uer outro método na :ase deorigem para 8ue tal atualização seja feita, a prpria ferramenta seencarrega disto'

"scala1ilidade

Pode ser transferidas de servidor mais facilmente e até

eventualmente distri:uir sua carga entre v2rios servidores'


22/30


23/30

Ferramentas 2ue competem com ela3


24/30

(%D (racle %are&ouse Duilder-

;urgiu no ano M/// integrado no (racle #eveloper;uiteB

;uporte a modelagem relacional e dimensionalB

6tiliza funç>es fuzzO limpeza, agrupamento dosdados-B

$ovimentação de dados em tempo realB


25/30

#ata;tage

)eve origem no @$arI da empresa Prime Computers em344B

Em M//3 a 1D$ comprouB

$ovimentação e 1ntegração de dados em tempo realB

Conectividade com dados de diferentes formatos e fontes


26/30

"mpresas no Brasil 2ue utili4amesse so)t!are3

78ui no Drasil possui como clientes a @ale do Hio #oce,@ivo, Danco Central do Drasil, #epartamento deinform2tica do ;6;, 6niversidade Est2cio de ;2 entre

outras3


27/30

Banco -entral do Brasil

Desa'o(:ter informaç>es precisas em tr?s pilares do ;istema de

$onitoramento de $ercado ;$$-

risco de mercado, risco de li8uidez e an2lise de operaç>es,para "scalizar diariamente as operaç>es de Q'/// instituiç>es

"nanceiras em todo o Drasil'Solu56es

=a fase de planejamento do projeto, identi"cou9se M5processos de negcios a serem implementados com aferramenta, para 8ue, na 2rea de supervisão, os especialistas

de risco e li8uidez pudessem realizar o monitoramento do;istema Financeiro =acional'

( Danco Central, depois de analisar e de"nir osre8uisitos de negcios, solicitou a todas as cRmaras decustdia o envio dos dados necess2rios para implementaçãodo projeto'


28/30

Resultados

$aior segurança do sistema "nanceiro nacional eavaliação da li8uidez de cada instituição'

$ais rapidez e e"c2cia nos processos do #epartamento

de Fiscalização Danc2ria, 8ue necessita atualmente demenos auditores para analisar informaç>es do sistema"nanceiro e operaç>es fora do padrão, pois a solução j2aponta estes ind+cios'

Hece:imento e transformação de dados de cerca de Mmil&>es de transaç>es di2rias ocorridas no sistema"nanceiro'


29/30

7ivo

898-8AT87AS D" 9";-8es para "ns de

monitoramento, an2lise, geração de relatrios e tomada dedecis>esB

7umento da e"ci?ncia operacionalB

7 @1@( utilizava seis data ware&ouses , isolados, cada8ual dotado de suas prprias ferramentas de intelig?ncia denegcios, fontes de dados, regras de negcios, processos,ferramentas, culturas e plataformas'

Esses ware&ouses foram originados pela fusão e

a8uisição de mLltiplas operadoras locais' ;ua integração deuJ operadora de telecomunicaç>es l+der no Drasil aoportunidade de criar uma visão Lnica so:re S/ mil&>es

de clientes de telefonia mvel'


30/30

B"9"F=-8

Power Center ferramenta Etl

Documents

Transcript of Power Center ferramenta Etl