Copyright  ©  2014  Splunk  Inc.  

René  X.  Parra  So>ware  Architect,  HomeAway  

Splunk  @  HomeAway  Let’s  Stay  Together  

Disclaimer  

2  

During  the  course  of  this  presentaKon,  we  may  make  forward-­‐looking  statements  regarding  future  events  or  the  expected  performance  of  the  company.  We  cauKon  you  that  such  statements  reflect  our  current  expectaKons  and  

esKmates  based  on  factors  currently  known  to  us  and  that  actual  events  or  results  could  differ  materially.  For  important  factors  that  may  cause  actual  results  to  differ  from  those  contained  in  our  forward-­‐looking  statements,  

please  review  our  filings  with  the  SEC.  The  forward-­‐looking  statements  made  in  the  this  presentaKon  are  being  made  as  of  the  Kme  and  date  of  its  live  presentaKon.  If  reviewed  a>er  its  live  presentaKon,  this  presentaKon  may  not  contain  current  or  accurate  informaKon.  We  do  not  assume  any  obligaKon  to  update  any  forward-­‐looking  statements  we  may  make.  In  addiKon,  any  informaKon  about  our  roadmap  outlines  our  general  product  direcKon  and  is  subject  to  change  at  any  Kme  without  noKce.  It  is  for  informaKonal  purposes  only,  and  shall  not  be  incorporated  into  any  contract  or  other  commitment.  Splunk  undertakes  no  obligaKon  either  to  develop  the  features  or  funcKonality  described  or  to  

include  any  such  feature  or  funcKonality  in  a  future  release.  

Speaker  Bio  

3  

!   Currently  leading  the  deployment  of  Big  Data  SoluKons  @  HomeAway  

!   Architect  for  OAuth  and  underlying  CoreAPI  @  HomeAway  

!   Worked  on  TravelerReview  and  TravelerGuarantee  products  (front-­‐facing)  

!   Previously  sat  on  eBay  Developer  Council  and  served  as  Staff  Engineer  for  motors.ebay.com  

!   Graduate  of  MIT  (S.B  VI.III  ‘94)  !   Live  in  AusKn,  TX  and  lovin’  it!  

HomeAway  

4  

!   The  HomeAway  family  is  the  world's  #1  source  for  vacaKon  rentals  

!   Over  1  million  lisKngs  across  our  internaKonal  family  of  sites  

Agenda  

! Splunk  Use  Cases  @  HomeAway  !   Challenge:  Splunk  with  ~10x  the  data  !   SoluKon:  Hunk  Architecture  /  Deployment  @  HomeAway  !   Hunk  Demo  @  HomeAway    !   You  will  learn:  

–  How  Splunk/Hunk  is  used  @  HomeAway  today  –  How  to  handle  Data  Growth  /  Use  Case  expansion  at  your  company  –  How  Hunk  6.1  features  can  leverage  your  big  data  

5  

Splunk  Use  Cases  @  HomeAway    A  Brief  History  of    Splunk  @  HomeAway  

Splunk  Use  Cases  @  HomeAway  

Log  AggregaKon   App  SLA  /  Monitoring   Conversion   More…  

DATA  SIZE  

In  the  Beginning…  

8  

! grep,  sed  and  awk  ruled    the  land  

!   Limited  !   Manual  !   Clunky  

…  Then  There  Was  Splunk  

9  

!   Shorter  debug  sessions  

!   More  visibility  !   Easier  to  see  other  cause/effects  

…  And  All  Was  Very  Good  

10  

Log  AggregaKon  

UnKl…  

11  

Michael  Wilde  happened  

Before  

12  

!   Simple  Log  AggregaKon  !   “Needle  in  a  haystack”  !   Event  Results  only  (text)  

A>er  

13  

!   Field  ExtracKons  !   Evensypes  !   Field  Transforms  !   Lookups  !   DBConnect  !   SimpleXML  Dashboard  !   Alerts  !   Saved  Searches  

App  SLA  /  Monitoring  

The  Challenge:      Data  Growth!!  

Splunk  Success  MulKplied  

Splunk  Success  MulKplied  

Log  Growth!  

logs   SLA  /  app  monitoring  

analyKcs   future  

The  Challenge:  Data  Growth!  

17  

The  SoluKon:      

Splunk  Deployment  Architecture  

19  

search  head  

indexer  

indexer  app  server   forwarder  

app  server   forwarder  

Hadoop  Architecture  

20  

app  server  

app  server   data  node   data  node  

data  node  

Splunk  +  Hadoop  +  Hunk  =  All  the  Data!  

21  

app  server  

indexer  

indexer  

app  server   data  node   data  node  

data  node  

Splunk  +  Hadoop  +  Hunk  =  All  the  Data!  

22  

app  server  

indexer  

indexer  

app  server   data  node   data  node  

data  node  

•  Near  Real  Time  •  High  Value  Density  •  “Low”  Volume  

•  Batch  •  Low  Value  Density  •  “High”  Volume  

Splunk  +  Hadoop  +  Hunk  =  All  the  Data!  

23  

app  server  

indexer  

indexer  

app  server   data  node   data  node  

data  node  

tradiKonal  logs  

“event”  data  

Hunk  Advantages  

24  

!   Truly  “exploratory”  analyKcs  !   Schema  on  Read  !   Preview  !   AVRO,  ORC,  RC,  Sequence,  Parquet  !   Report  AcceleraKon  “just  works”  

Demo  

Lessons  Learned  

26  

!   Leverage  Splunk  training  /  professional  services  (  Learn  Splunk!  )  !   Install  the  correct  Hadoop  client  libraries  (with  configuraKon!!!)    

Summary  

!   Learn  how  Splunk  Enterprise  and  Hunk  are  used  @  HomeAway  today  

!   Learn  how  to  train  !   Learned  how  to  manage  the  hyper-­‐growth  demand  for  data  with  Splunk  Enterprise  and  Hunk  

 

27  

Q  &  A  

THANK  YOU