M O N I T O R I N G Y O U R O P E N S TA C K C L O U D

@ H U I _ K E N N E T H @ H A R R I S O N PA G E

@ R A H U LV S D

© 2015 Platform9 Systems, Inc. @Platform9Sys

Kenneth Hui

• Director of Technical Marketing at Platform9

• Previously: EMC, Rackspace, VCE

• OpenStack Ambassador, VMware vExpert

Harrison Page

• Software Engineer

• Previously: Netscape, Disney, Loot Drop

• Devops, Security, Release

@ H U I _ K E N N E T H

@ H A R R I S O N PA G E

Speaker Bio

© 2015 Platform9 Systems, Inc.

Platform9 Managed OpenStack:

• Your servers host your data

• Platform9 hosts the OpenStack controller as a Service, with an SLA

• No need to install, monitor, troubleshoot or upgrade OpenStack

Platform9 Managed OpenStack

M O N I T O R I N G 1 0 1

C U R R E N T S TAT E O F O P E N S TA C K M O N I T O R I N G

M O N I T O R I N G O P E N S TA C K @ P L AT F O R M 9 S Y S

W H AT W E M O N I T O R

H O W W E M O N I T O R T O D AY

F U T U R E P L A N S

O U R W I S H L I S T

M O N I T O R I N G 1 0 1 A L E R T I N G O N W H AT M AT T E R S

W H AT I S M O N I T O R I N G ?

A S Y S T E M AT I C P R O C E S S O F C O L L E C T I N G , A N A LY Z I N G ,

A N D U S I N G D ATA T O T R A C K T H E H E A LT H O F C O M P L E X

S Y S T E M S

W H AT T Y P E O F D ATA S H O U L D B E M O N I T O R E D ? • FA I L U R E S • E R R O R C O N D I T I O N S • A N O M A L I E S • P E R F O R M A N C E • L O G S

W H Y M O N I T O R I N G ? • T R O U B L E S H O O T I N G • P R E E M P T I O N • C A PA C I T Y P L A N N I N G • A U D I T

C U R R E N T S TAT E O F O P E N S TA C K M O N I T O R I N G

N O O F F I C I A L M O N I T O R I N G - A S - A - S E R V I C E P R O J E C T

C E I L O M E T E R F O R T E L E M E T R Y D E S I G N E D F O R M E T E R I N G N O T M O N I T O R I N G

( P R I M A R I LY A D ATA U S A G E C O L L E C T O R )

“ W E D O N ’ T S E E C E I L O M E T E R A S A N O P E R AT O R T O O L . W E S E E I T A S A T E N A N T M O N I T O R I N G S E R V I C E ”

“ S E E M S V E R Y U N S TA B L E F O R V E R Y L A R G E D E P L O Y M E N T S . ”

M O S T P O P U L A R M O N I T O R I N G T O O L S A R E C U S T O M N A G I O S Z A B B I X

G R A P H I T E E L K S TA C K ( E L A S T I C S E A R C H / L O G S TA S H / K I B A N A )

T H E M O N A S C A P R O J E C T H T T P S : / / W I K I . O P E N S TA C K . O R G / W I K I / M O N A S C A

T H I N G S W E M O N I T O R

S E R V E R S P R O D U C T I O N , D E V E L O P M E N T

F L AV O R S I N - H O U S E B A R E M E TA L , C L O U D I N S TA N C E S

S E R V I C E S O P E N S TA C K , P L AT F O R M9

I S T H E C U S T O M E R D E L I G H T E D ?

S Y S T E M S TAT S L O A D AV E R A G E , M E M O R Y U S A G E , A C T I V E U S E R S , S E R V E R S E C U R I T Y,

D ATA B A S E A C T I V I T Y, N E T W O R K I / O D I S K U S A G E , C P U T E M P E R AT U R E

A N A L E R T S H O U L D B E . . . A C T I O N A B L E I M P O R TA N T

T O O M A N Y A L E R T S . . . A N N O Y S P E O P L E

C A U S E S A L E R T B L I N D N E S S

T U N I N G I S O N - G O I N G

Webhook

VictorOps

HTTPS

Platform9 Monitoring

logstash-forwarder

collectd

Slack

Webhook

remote_syslog2

Webhook

REST

ServerDensity

Webhook

ServerDensity A

gent

W H AT W E M O N I T O R P L AT F O R M 9 M O N I T O R I N G F E AT U R E S

A L E R T O N S L O W Q U E R I E S C O U N T # O F A C T I V E U S E R S

C O U N T S O F H O S T S , I N S TA N C E S O V E R T I M E O P E N S TA C K E V E N T S

L O G M E S S A G E S E X C E P T I O N S , C R I T I C A L L O G M E S S A G E S , E R R O R S

P L AT F O R M 9 WAT C H D O G M O N I T O R P R O C E S S E S , R E S TA R T T H E M ,

C O M P L A I N

H O W W E M O N I T O R M O N I T O R I N G O N T H E S E R V E R

D A E M O N S L I S T E N I N G F O R E V E N T S S C R I P T S C A L L E D F R O M C R O N

E X T E R N A L M O N I T O R I N G T E S T I N G H T T P S A N D R E S T A P I S R E M O T E LY C U S T O M T O O L C H E C K S O P E N S TA C K A P I

T E S T S I N C L U D E G E T T O K E N F R O M K E Y S T O N E

M A K E R E Q U E S T S T O N O VA , G L A N C E , C I N D E R S I M I L A R R E Q U E S T S T O P L AT F O R M 9 S E R V I C E S

P R O B L E M S C A U G H T

- D I S C O N N E C T E D H O S T S W I L L P I L E U P M E S S A G E S I N R A B B I T M Q , W E W R O T E A T O O L T O WAT C H F O R " S T U C K " M E S S A G E S

- A M A Z O N A P I S O M E T I M E S R E F U S E S R E Q U E S T S , A N Y I N T E R A C T I O N S M U S T R E T R Y A N D G R A C E F U L LY FA I L

- K E Y S T O N E L E A K I N G F I L E D E S C R I P T O R S I N O P E N S TA C K H AVA N A R E L E A S E

- L I N U X K I L L S P R O C E S S E S W H E N M E M O RY I S L O W, C R E AT E D P F 9 - WAT C H D O G T O O L T O R E S TA RT S E R V I C E S A N D N O T I F Y U S

- A M A Z O N L I K E S T O T E R M I N AT E I N S TA N C E S F O R N O G O O D R E A S O N

- T E M P O R A R Y FA I L U R E S O N O U R L O C A L N E T W O R K H AV E F O O L E D U S I N T O T H I N K I N G P R O D U C T I O N S E R V E R S W E R E D O W N

T H E T O O L S W E U S E

W E ♥ V I C T O R O P S

S E N D A L E R T S V I A W E B H O O K

C O N TA C T M E T H O D S E X A M P L E 1 . S E N D A S L A C K M E S S A G E

2 . S E N D P U S H N O T I F I C AT I O N 3 . C A L L M E

V I C T O R O P S ( C O N T. )

U S E D F O R D E V O P S A L E R T S

O T H E R U S E S I N C L U D E I N C O M I N G S U P P O R T R E Q U E S T S

N E W S A L E S R E Q U E S T S

W E M A K E H E AV Y U S E O F V I C T O R O P S ' T R A N S M O G R I F I E R T O M O D I F Y A N D

R O U T E I N C O M I N G R E Q U E S T S

S E R V E R D E N S I T Y

I N S TA L L S A N O P E N - S O U R C E A G E N T O N O U R S E R V E R S

C O M P L A I N S I F C O N TA C T I S L O S T

U I C A N B E S C R I P T E D U S I N G T H E A P I

A U T O M AT E D I N S TA L L V I A B A S H / C U R L O R A N S I B L E O R S A LT

F O U N D E R O F S E R V E R D E N S I T Y I S D AV I D M Y T T O N ( S U P E R N I C E G U Y )

PA P E R T R A I L

O P E N S O U R C E A G E N T C A L L E D R E M O T E _ S Y S L O G 2

WAT C H E S A B O U T 3 0 L O G F I L E S

S AV E D S E A R C H E S P U S H I N T E R E S T I N G E V E N T S T O S L A C K C H A N N E L S

N A M E D F O R T H E C O M P O N E N T: # N O VA , # K E Y S T O N E , E T C .

E X P E N S I V E T O R E TA I N L O G S O V E R A L O N G P E R I O D

L I V E " TA I L " A C R O S S H O S T S , L O G F I L E S

S I G N A L F X

R E S P O N S I V E V I S U A L I Z AT I O N T O O L S

S I T S AT O P T I M E - S E R I E S D ATA B A S E

U P D AT E S S E N T V I A R E S T A P I

I N T E G R AT E S W I T H C O L L E C T D , A M A Z O N AW S

C L E A N , C U S T O M D A S H B O A R D S

A B I L I T Y T O " Z O O M I N " O N A S I N G L E C U S T O M E R

P O W E R F U L T O O L F O R T R O U B L E S H O O T I N G B U T A L S O F O R S A L E S A N D M A R K E T I N G

S L A C K A N D P L AT F O R M 9 :

C O M PA N Y- W I D E A D O P T I O N

I N T E R E S T I N G L O G M E S S A G E S R O U T E D T O C H A N N E L S N A M E D F O R T H E S E R V I C E E . G . # N O VA , # K E Y S T O N E

W E B H O O K I N T E G R AT I O N P L AT F O R M 9 M O N I T O R I N G , V I C T O R O P S ,

S E R V E R D E N S I T Y, PA P E R T R A I L , M A I L C H I M P, J I R A , T W I T T E R ,

T E A M C I T Y, M E R A K I , Z E N D E S K , . . .

C U S T O M S M T P S E R V E R R O U T E S E - M A I L F R O M L E G A C Y A P P L I C AT I O N S I N T O S L A C K

A M O N I T O R I N G W I S H L I S T

R E G U L A R E X P R E S S I O N S F O R L O C AT I N G I N T E R E S T I N G L O G M E S S A G E S

" S N O O Z E " B U T T O N T E M P O R A R I LY S U P P R E S S S O M E A L E R T S

" M U T E " B U T T O N S I L E N C E S O M E A L E R T S

D A S H B O A R D S H O W I N G A G G R E G AT E O F A L E R T S

T R E N D R E P O R T I N G F O R U S A G E A N D E R R O R S

E X P E R I M E N T I N G W I T H O P E N S TA C K P L U G I N S F O R C O L L E C T D

F U T U R E P L A N S !

C O N T E M P L AT I N G E L K S TA C K E L A S T I C S E A R C H

L O G S TA S H K I B A N A

S T I L L E VA L U AT I N G C O S T /E N E R G Y R E Q U I R E D T O H O S T

O U R S E LV E S V S PAY I N G F O R A S E R V I C E

I T ' S A L L F U N A N D G A M E S U N T I L Y O U H AV E T O R E S T O R E

F R O M B A C K U P AT 4 : 0 0 A M

M O R E I N F O : W W W. P L AT F O R M 9 . C O M

T W I T T E R : @ P L AT F O R M 9 S Y S

* * S H A M E L E S S P L U G * *

P L AT F O R M 9 I S H I R I N G S O F T WA R E E N G I N E E R S

J O I N U S !

S E R V I C E S

S E R V E R D E N S I T Y. C O M

V I C T O R O P S . C O M

S L A C K . C O M

S I G N A L F X . C O M

PA P E R T R A I L A P P. C O M

S O F T WA R E

C O L L E C T D . O R G

E L A S T I C . C O

N A G I O S . O R G

Z A B B I X . C O M

D A S H I N G . I O

M O R E

W I K I . O P E N S TA C K . O R G / W I K I / M O N A S C A

G I T H U B . C O M / PA P E R T R A I L / R E M O T E _ S Y S L O G 2

G I T H U B . C O M / E L A S T I C / L O G S TA S H - F O R WA R D E R

V I S U A L I Z AT I O N

G R A FA N A . O R G

E L A S T I C . C O / P R O D U C T S / K I B A N A

G I T H U B . C O M /

G R A P H I T E - P R O J E C T

Q U E S T I O N S ?

M E E T T H E O P S G U R U . . .

F I R S T C O N TA C T F O R A L L A L E R T S

R O TAT I O N L A S T S 2 W E E K S

S H A R E D B Y E N G I N E E R I N G S TA F F

S A M E P E O P L E W H O W R I T E T H E C O D E A R E M O N I T O R I N G O U R P R O D U C T I O N S E R V I C E S

W H O R E S P O N D S

H O W W E R E S P O N D E S TA B L I S H A WA R R O O M

I N # O P S C H A N N E L

T R O U B L E S H O O T I N G !

T R Y T O B A L A N C E K N O W I N G W H Y

V S R E S T O R I N G S E R V I C E

K E E P C O M PA N Y U P D AT E D

F I L E A N I N C I D E N T R E P O R T

U P D AT E T R O U B L E S H O O T I N G G U I D E

S C H E D U L E A P O S T M O R T E M