Fluentd meetup intro

24
Fluentd Meetup Group Introduction @fluentd www.fluentd.org Thursday, June 27, 13

Transcript of Fluentd meetup intro

Page 1: Fluentd meetup intro

Fluentd����������� ������������������  Meetup����������� ������������������  GroupIntroduction

@fluentdwww.fluentd.org

Thursday, June 27, 13

Page 2: Fluentd meetup intro

WHAT’S����������� ������������������  FLUENTD?

•JSON-BASED����������� ������������������  DATA����������� ������������������  COLLECTOR

•OPEN����������� ������������������  SOURCE����������� ������������������  (APACHE����������� ������������������  2.0)

•PRODUCTION����������� ������������������  READY

Thursday, June 27, 13

Page 3: Fluentd meetup intro

JSON-BASED

•“EVENT”����������� ������������������  IS����������� ������������������  THE����������� ������������������  SMALLEST����������� ������������������  UNIT����������� ������������������  OF����������� ������������������  DATA����������� ������������������  FOR����������� ������������������  FLUENTD

•THE����������� ������������������  FORMAT����������� ������������������  IS����������� ������������������  JSON

•INTERNALLY,����������� ������������������  WE����������� ������������������  USE����������� ������������������  MESSAGEPACK����������� ������������������  (JSON-LIKE����������� ������������������  BINARY����������� ������������������  SERIALIZER)

Thursday, June 27, 13

Page 4: Fluentd meetup intro

WHY����������� ������������������  JSON!?

MAINTAINABLE����������� ������������������  LOGGING!

Thursday, June 27, 13

Page 5: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  ATMANY����������� ������������������  PLACES

Thursday, June 27, 13

Page 6: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

Thursday, June 27, 13

Page 7: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

Thursday, June 27, 13

Page 8: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

FORMATCHANGE!

Thursday, June 27, 13

Page 9: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

FORMATCHANGE!

Thursday, June 27, 13

Page 10: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  ATMANY����������� ������������������  PLACES

LOG����������� ������������������  FILES

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSSuser 1’s

script

user 2’s script

DBA’sscript

user 1’s script 2

user 2’s script 2

user 3’s script...

FORMATCHANGE! :-(

Thursday, June 27, 13

Page 11: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  WITH����������� ������������������  FLUENTD

Thursday, June 27, 13

Page 12: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

Thursday, June 27, 13

Page 13: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

Thursday, June 27, 13

Page 14: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

FORMATCHANGE!

Thursday, June 27, 13

Page 15: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

FORMATCHANGE! MODIFY

JUST����������� ������������������  HERE!

Thursday, June 27, 13

Page 16: Fluentd meetup intro

HOW����������� ������������������  DATA����������� ������������������  IS����������� ������������������  COLLECTED����������� ������������������  WITH����������� ������������������  FLUENTD

FLUEND

DATA����������� ������������������  USER����������� ������������������  1

DATA����������� ������������������  USER����������� ������������������  2

INTERMEDIATE����������� ������������������  DB

DATA����������� ������������������  USER����������� ������������������  3

DATA����������� ������������������  USER����������� ������������������  2’S����������� ������������������  BOSS

DATA����������� ������������������  USER����������� ������������������  1’S����������� ������������������  BOSS

APACHE/NGINX

SYSLOG

LOGS����������� ������������������  W/IN-HOUSE����������� ������������������  FORMAT

JSON

JSON

JSON

JSON

JSON

JSON

in_syslog

in_tail

customizedin_tail

FORMATCHANGE! MODIFY

JUST����������� ������������������  HERE!

Thursday, June 27, 13

Page 17: Fluentd meetup intro

WHY����������� ������������������  JSON!?

MAINTAINABLE����������� ������������������  LOGGING!

Thursday, June 27, 13

Page 18: Fluentd meetup intro

OPEN����������� ������������������  SOURCE!

•APACHE����������� ������������������  2.0

•COMMUNITY!����������� ������������������  (1,100+����������� ������������������  STARS����������� ������������������  ON����������� ������������������  GITHUB)

•160+����������� ������������������  PLUGINS����������� ������������������  (MY����������� ������������������  DEMO����������� ������������������  WILL����������� ������������������  USE����������� ������������������  ONE����������� ������������������  OF����������� ������������������  THEM)

Thursday, June 27, 13

Page 19: Fluentd meetup intro

PRODUCTION����������� ������������������  READY

•USED����������� ������������������  IN����������� ������������������  PRODUCTION����������� ������������������  WITH����������� ������������������  4,000+����������� ������������������  SERVERS

•CAN����������� ������������������  PROCESS����������� ������������������  ~15,000����������� ������������������  MSGS/SEC����������� ������������������  PER����������� ������������������  CORE

•GOOD����������� ������������������  COMMUNITY����������� ������������������  SUPPORT����������� ������������������  (ACTIVE����������� ������������������  MAILING����������� ������������������  LIST)

Thursday, June 27, 13

Page 20: Fluentd meetup intro

WHAT’S����������� ������������������  FLUENTD?

•JSON-BASED����������� ������������������  DATA����������� ������������������  COLLECTOR

•OPEN����������� ������������������  SOURCE����������� ������������������  (APACHE����������� ������������������  2.0)

•PRODUCTION����������� ������������������  READY

Thursday, June 27, 13

Page 21: Fluentd meetup intro

JULY����������� ������������������  8����������� ������������������  IS����������� ������������������  THE����������� ������������������  NEXT����������� ������������������  MEETUP!

•7:00����������� ������������������  PM����������� ������������������  -����������� ������������������  9:00����������� ������������������  PM����������� ������������������  

•IF����������� ������������������  YOU����������� ������������������  WANT����������� ������������������  TO����������� ������������������  PRESENT,����������� ������������������  LET����������� ������������������  ME����������� ������������������  KNOW!����������� ������������������  ([email protected],����������� ������������������  @fluentd,����������� ������������������  @kiyototamura)

Thursday, June 27, 13

Page 22: Fluentd meetup intro

DEMO!

Thursday, June 27, 13

Page 23: Fluentd meetup intro

DEMO!

Chromebrowser����������� ������������������  

logfluentd

your����������� ������������������  phone!

customizedin_tail

out_twilio

Thursday, June 27, 13

Page 24: Fluentd meetup intro

DEMO!

Chromebrowser����������� ������������������  

logfluentd

your����������� ������������������  phone!

customizedin_tail

out_twilio

“CALL����������� ������������������  ME����������� ������������������  DEFINITELYIF����������� ������������������  MY����������� ������������������  EMPLOYEE����������� ������������������  IS����������� ������������������  SURFIN’����������� ������������������  FACEBOOK.COM”

Thursday, June 27, 13