Fluentd meetup intro

23
Fluentd Meetup Group Introduction @fluentd www.fluentd.org Tuesday, June 25, 13

Transcript of Fluentd meetup intro

Page 1: Fluentd meetup intro

Fluentd����������� ������������������  Meetup����������� ������������������  GroupIntroduction

@fluentdwww.fluentd.org

Tuesday, June 25, 13

Page 2: Fluentd meetup intro

WHAT’S����������� ������������������  FLUENTD?

•JSON-BASED����������� ������������������  LOG����������� ������������������  COLLECTOR

•OPEN����������� ������������������  SOURCE����������� ������������������  (APACHE����������� ������������������  2.0)

•PRODUCTION����������� ������������������  READY

Tuesday, June 25, 13

Page 3: Fluentd meetup intro

JSON-BASED

•“EVENT”����������� ������������������  IS����������� ������������������  THE����������� ������������������  SMALLEST����������� ������������������  UNIT����������� ������������������  OF����������� ������������������  DATA����������� ������������������  FOR����������� ������������������  FLUENTD

•THE����������� ������������������  FORMAT����������� ������������������  IS����������� ������������������  JSON

•INTERNALLY,����������� ������������������  WE����������� ������������������  USE����������� ������������������  MESSAGEPACK����������� ������������������  (JSON-LIKE����������� ������������������  BINARY����������� ������������������  SERIALIZER)

Tuesday, June 25, 13

Page 4: Fluentd meetup intro

WHY����������� ������������������  JSON!?

MAINTAINABLE����������� ������������������  LOGGING!

Tuesday, June 25, 13

Page 5: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  ATMANY����������� ������������������  PLACES

Tuesday, June 25, 13

Page 6: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

Tuesday, June 25, 13

Page 7: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

Tuesday, June 25, 13

Page 8: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

FORMATCHANGE!

Tuesday, June 25, 13

Page 9: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

FORMATCHANGE!

Tuesday, June 25, 13

Page 10: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

FORMATCHANGE! :-(

Tuesday, June 25, 13

Page 11: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  WITH����������� ������������������  FLUENTD

Tuesday, June 25, 13

Page 12: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

Tuesday, June 25, 13

Page 13: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

Tuesday, June 25, 13

Page 14: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

FORMATCHANGE!

Tuesday, June 25, 13

Page 15: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

FORMATCHANGE! MODIFY

JUST����������� ������������������  HERE!

Tuesday, June 25, 13

Page 16: Fluentd meetup intro

HOW����������� ������������������  LOGGING����������� ������������������  IS����������� ������������������  DONE����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

FORMATCHANGE! MODIFY

JUST����������� ������������������  HERE!

Tuesday, June 25, 13

Page 17: Fluentd meetup intro

WHY����������� ������������������  JSON!?

MAINTAINABLE����������� ������������������  LOGGING!

Tuesday, June 25, 13

Page 18: Fluentd meetup intro

OPEN����������� ������������������  SOURCE!

•APACHE����������� ������������������  2.0

•COMMUNITY!����������� ������������������  (1,100+����������� ������������������  STARS����������� ������������������  ON����������� ������������������  GITHUB)

•160+����������� ������������������  PLUGINS����������� ������������������  (MY����������� ������������������  DEMO����������� ������������������  WILL����������� ������������������  USE����������� ������������������  ONE����������� ������������������  OF����������� ������������������  THEM)

Tuesday, June 25, 13

Page 19: Fluentd meetup intro

PRODUCTION����������� ������������������  READY

•USED����������� ������������������  IN����������� ������������������  PRODUCTION����������� ������������������  WITH����������� ������������������  4,000+����������� ������������������  SERVERS

•CAN����������� ������������������  PROCESS����������� ������������������  ~15,000����������� ������������������  MSGS/SEC����������� ������������������  PER����������� ������������������  CORE

•GOOD����������� ������������������  COMMUNITY����������� ������������������  SUPPORT����������� ������������������  (ACTIVE����������� ������������������  MAILING����������� ������������������  LIST)

Tuesday, June 25, 13

Page 20: Fluentd meetup intro

WHAT’S����������� ������������������  FLUENTD?

•JSON-BASED����������� ������������������  LOG����������� ������������������  COLLECTOR

•OPEN����������� ������������������  SOURCE����������� ������������������  (APACHE����������� ������������������  2.0)

•PRODUCTION����������� ������������������  READY

Tuesday, June 25, 13

Page 21: Fluentd meetup intro

DEMO!

Tuesday, June 25, 13

Page 22: Fluentd meetup intro

DEMO!

Chromebrowser����������� ������������������  

logfluentd

your����������� ������������������  phone!

customizedin_tail

out_twilio

Tuesday, June 25, 13

Page 23: Fluentd meetup intro

DEMO!

Chromebrowser����������� ������������������  

logfluentd

your����������� ������������������  phone!

customizedin_tail

out_twilio

“CALL����������� ������������������  ME����������� ������������������  DEFINITELYIF����������� ������������������  MY����������� ������������������  EMPLOYEE����������� ������������������  IS����������� ������������������  SURFIN’����������� ������������������  FACEBOOK.COM”

Tuesday, June 25, 13