Copyright  ©  2014  Splunk  Inc.  

Monitorando  ecommerce  com  Splunk  no  Universo  Online  

 Mauricio  Giraldeli  –  Gerente  de  Projetos  de  P&D  no  

Universo  Online    

2  

Marcio  Ghiraldelli  

!   6  anos  como  arquiteto  de  TI  no  Universo  Online  ! Arquitetura  de  sistemas  de  alta  disponibilidade  (PagSeguro  e  ShoppingUOL)  

!   Sun  CerOfied  Java  Architect  /  MBA  em  Gerenciamento  de  Projetos  PMI  

3  

Agenda  

!   Monitorando  transações  de  cartão  de  crédito  !   Tomada  de  decisões  de  negócio  

!   Monitorando  operação  do  sistema  !   Medindo  ROI  de  mídia  online  em  tempo  real  

4  

!   Maior  por\olio  de  produtos  e  serviços  de  Internet  do  Brasil  !   Maior  portal  de  conteúdo  em  língua  portuguesa  do  mundo  !   Infraestrutura  de  TI  e  Datacenter  

6  

Splunk  @  PagSeguro  

   

•  Monitoração  antes:  •  Baseada  em  banco  relacional,  sem  escala  horizontal  

•  Limitado  às  3  ulOmas  horas  de  eventos  

•  Acesso  a  dados  históricos  depende  de  DBA  

•  Necessário  instalar  aplicação  cliente  em  todos  os  computadores  da  equipe  de  monitoração  

7  

Descobrindo  e  escolhendo  Splunk  

   

Novo  serviço  backend  

Adquirentes  cartão  de  crédito,  bancos,  etc  

Ferramenta  de  monitoração  

PCI-­‐DSS  security  compliance  

8  

Descobrindo  e  escolhendo  Splunk  

   

•  Necessidades  da  monitoração:  •  Big  Data  centralizado  

•  Flexível  

•  Fácil  de  usar  

•  RealOme  

9  

<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO [br.com.uol.ps.gw.core.aspect.CommandExecuteLogger] (qtp564660841-420:) datetime=2013-03-12 08:18:44,528

command=CreditCardSaleCommand msecs=555 {creditCardResponse=null,creditCardRequestModel={

creditCardTransaction={id=9999993513, merchantCode=99999999, fiDetails={nsu=999998,authorizationCode=59999999841, time=Tue Mar 12 08:18:44 BRT 2013, rawMessage=Transacao capturada com sucesso, rawCode=0, fi=locie, integratorCode=1016999999999999991}, numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e, isWallet=false, softDescriptor=CortaCortaco,

maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO

Exemplo  de  informação  de  transações  

   

10  

Dashboards  em  tempo  real  

   

11  

Dashboards  em  tempo  real  

   

Tempo  médio  de  comunicação  com  parceiros  

12  

Dashboards  em  tempo  real  

   

ComparaOvo  de  volume  de  transações  com  semana  anterior  

13  

Dashboards  em  tempo  real  

   

Tempo  médio  de  comunicação  por  transação  

14  

Dashboards  em  tempo  real  

   

DesaOvando  integrações  legadas  

15  

Splunk  @  PagSeguro  •  Agora:  •  Monitoração  web  com  gráficos,  treinamento  para  novos  N1s  diminui  

de  semanas  para  dias;  

•  Acesso  à  dados  históricos  com  um  clique  

•  Nivelamento  de  informações  entre  monitoração,  P&D  e  área  de  negócios  

17  

Splunk  @  ShoppingUOL  

   

•  Antes:  •  Time  de  P&D  sem  relatórios  gráficos  centralizados  da  saúde  da  

operação  

•  Dados  de  ROI  de  mídia  online  não  eram  em  tempo  real  

18  

Splunk  Universal  Forwarder  

   

•  Componente  light  de  fácil  configuração  para  coletar  logs  existentes  de  aplicações  legadas  

•  Expansão  da  licença  atual  e  infra  (+  indexers)  do  Splunk  para  atender  novo  produto  ShoppingUOL  

•  Instalação  automaOzada  em  +20  máquinas  virtuais  via  puppet  

 

19  

Splunk  Proccess  Language  

   

•  Extração  de  dados  de  logs  em  diversos  formatos  legados  

•  rex,  transacOon,  dedup  

 

20  

Dashboards  QuanOdade  de  ofertas  coletadas  por  lojas  

21  

Dashboards  Volume  de  documentos  indexados  e  replicados  no  índice  Solr  

22  

Dashboards  Performance  de  aplicações  Java  com  Perf4J  

23  

Dashboards  ROI  de  Mídia  Online  em  tempo  real  

24  

Splunk  @  ShoppingUOL  

   

•  Depois:  •  Time  de  P&D  e  operação  com  a  mesma  visibilidade  

•  Acompanhamento  de  campanhas  de  mídia  online  em  tempo  real  +  velocidade  em  tomadas  de  decisões  de  invesOmentos  

Upgrade  de  arquitetura  “on  the  fly”  

26  

Upgrade  de  arquitetura  “on  the  fly”  

   

Antes:  2  servidores  com  uma  instância  de  Splunk  

NFS  Mount  

Index  cold  buckets  

Search  Head  and  Indexer  Incoming  TCP  data  

Splunk  Search  User  Access  

27  

Upgrade  de  arquitetura  “on  the  fly”  

   

Depois:  4  servidores  com  4  instâncias  Splunk  

Search  Head  

Incoming  TCP  data  

Search  Head  

Indexer  

Indexer  

TCP  Load  Balancer   TCP  Load  Balancer  Splunk  Search  User  Access  

Próximos  passos  

29  

Próximos  passos  

   

•  Todas  as  novas  aplicações  sendo  criadas  com  logs  no  formato  chave/valor,  prevendo  uma  futura  convergência  no  Splunk  

•  Instalando  uma  televisão  no  andar  da  área  de  negócios  para  acompanhamento  em  tempo  real  dos  dashboards  

•  Evoluindo  a  arquitetura  do  Splunk  “corporaOvo”  para  atender  todos  os  produtos  do  UOL  em  uma  infra  centralizada  

•  Integrar  Splunk  com  os  eventos  de  processos  ITIL/CMDB  

Obrigado!  

linkedin.com/in/mghiraldelli  twiyer.com/marciogh