Fluentd meetup intro
-
Upload
tdkiyoto -
Category
Technology
-
view
268 -
download
0
Transcript of Fluentd meetup intro
Fluentd����������� ������������������ Meetup����������� ������������������ GroupIntroduction
@fluentdwww.fluentd.org
Thursday, June 27, 13
WHAT’S����������� ������������������ FLUENTD?
•JSON-BASED����������� ������������������ DATA����������� ������������������ COLLECTOR
•OPEN����������� ������������������ SOURCE����������� ������������������ (APACHE����������� ������������������ 2.0)
•PRODUCTION����������� ������������������ READY
Thursday, June 27, 13
JSON-BASED
•“EVENT”����������� ������������������ IS����������� ������������������ THE����������� ������������������ SMALLEST����������� ������������������ UNIT����������� ������������������ OF����������� ������������������ DATA����������� ������������������ FOR����������� ������������������ FLUENTD
•THE����������� ������������������ FORMAT����������� ������������������ IS����������� ������������������ JSON
•INTERNALLY,����������� ������������������ WE����������� ������������������ USE����������� ������������������ MESSAGEPACK����������� ������������������ (JSON-LIKE����������� ������������������ BINARY����������� ������������������ SERIALIZER)
Thursday, June 27, 13
WHY����������� ������������������ JSON!?
MAINTAINABLE����������� ������������������ LOGGING!
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ ATMANY����������� ������������������ PLACES
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ ATMANY����������� ������������������ PLACES
LOG����������� ������������������ FILES
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSS
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ ATMANY����������� ������������������ PLACES
LOG����������� ������������������ FILES
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSSuser 1’s
script
user 2’s script
DBA’sscript
user 1’s script 2
user 2’s script 2
user 3’s script...
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ ATMANY����������� ������������������ PLACES
LOG����������� ������������������ FILES
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSSuser 1’s
script
user 2’s script
DBA’sscript
user 1’s script 2
user 2’s script 2
user 3’s script...
FORMATCHANGE!
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ ATMANY����������� ������������������ PLACES
LOG����������� ������������������ FILES
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSSuser 1’s
script
user 2’s script
DBA’sscript
user 1’s script 2
user 2’s script 2
user 3’s script...
FORMATCHANGE!
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ ATMANY����������� ������������������ PLACES
LOG����������� ������������������ FILES
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSSuser 1’s
script
user 2’s script
DBA’sscript
user 1’s script 2
user 2’s script 2
user 3’s script...
FORMATCHANGE! :-(
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ WITH����������� ������������������ FLUENTD
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ WITH����������� ������������������ FLUENTD
FLUEND
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSS
APACHE/NGINX
SYSLOG
LOGS����������� ������������������ W/IN-HOUSE����������� ������������������ FORMAT
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ WITH����������� ������������������ FLUENTD
FLUEND
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSS
APACHE/NGINX
SYSLOG
LOGS����������� ������������������ W/IN-HOUSE����������� ������������������ FORMAT
JSON
JSON
JSON
JSON
JSON
JSON
in_syslog
in_tail
customizedin_tail
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ WITH����������� ������������������ FLUENTD
FLUEND
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSS
APACHE/NGINX
SYSLOG
LOGS����������� ������������������ W/IN-HOUSE����������� ������������������ FORMAT
JSON
JSON
JSON
JSON
JSON
JSON
in_syslog
in_tail
customizedin_tail
FORMATCHANGE!
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ WITH����������� ������������������ FLUENTD
FLUEND
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSS
APACHE/NGINX
SYSLOG
LOGS����������� ������������������ W/IN-HOUSE����������� ������������������ FORMAT
JSON
JSON
JSON
JSON
JSON
JSON
in_syslog
in_tail
customizedin_tail
FORMATCHANGE! MODIFY
JUST����������� ������������������ HERE!
Thursday, June 27, 13
HOW����������� ������������������ DATA����������� ������������������ IS����������� ������������������ COLLECTED����������� ������������������ WITH����������� ������������������ FLUENTD
FLUEND
DATA����������� ������������������ USER����������� ������������������ 1
DATA����������� ������������������ USER����������� ������������������ 2
INTERMEDIATE����������� ������������������ DB
DATA����������� ������������������ USER����������� ������������������ 3
DATA����������� ������������������ USER����������� ������������������ 2’S����������� ������������������ BOSS
DATA����������� ������������������ USER����������� ������������������ 1’S����������� ������������������ BOSS
APACHE/NGINX
SYSLOG
LOGS����������� ������������������ W/IN-HOUSE����������� ������������������ FORMAT
JSON
JSON
JSON
JSON
JSON
JSON
in_syslog
in_tail
customizedin_tail
FORMATCHANGE! MODIFY
JUST����������� ������������������ HERE!
Thursday, June 27, 13
WHY����������� ������������������ JSON!?
MAINTAINABLE����������� ������������������ LOGGING!
Thursday, June 27, 13
OPEN����������� ������������������ SOURCE!
•APACHE����������� ������������������ 2.0
•COMMUNITY!����������� ������������������ (1,100+����������� ������������������ STARS����������� ������������������ ON����������� ������������������ GITHUB)
•160+����������� ������������������ PLUGINS����������� ������������������ (MY����������� ������������������ DEMO����������� ������������������ WILL����������� ������������������ USE����������� ������������������ ONE����������� ������������������ OF����������� ������������������ THEM)
Thursday, June 27, 13
PRODUCTION����������� ������������������ READY
•USED����������� ������������������ IN����������� ������������������ PRODUCTION����������� ������������������ WITH����������� ������������������ 4,000+����������� ������������������ SERVERS
•CAN����������� ������������������ PROCESS����������� ������������������ ~15,000����������� ������������������ MSGS/SEC����������� ������������������ PER����������� ������������������ CORE
•GOOD����������� ������������������ COMMUNITY����������� ������������������ SUPPORT����������� ������������������ (ACTIVE����������� ������������������ MAILING����������� ������������������ LIST)
Thursday, June 27, 13
WHAT’S����������� ������������������ FLUENTD?
•JSON-BASED����������� ������������������ DATA����������� ������������������ COLLECTOR
•OPEN����������� ������������������ SOURCE����������� ������������������ (APACHE����������� ������������������ 2.0)
•PRODUCTION����������� ������������������ READY
Thursday, June 27, 13
JULY����������� ������������������ 8����������� ������������������ IS����������� ������������������ THE����������� ������������������ NEXT����������� ������������������ MEETUP!
•7:00����������� ������������������ PM����������� ������������������ -����������� ������������������ 9:00����������� ������������������ PM����������� ������������������
•IF����������� ������������������ YOU����������� ������������������ WANT����������� ������������������ TO����������� ������������������ PRESENT,����������� ������������������ LET����������� ������������������ ME����������� ������������������ KNOW!����������� ������������������ ([email protected],����������� ������������������ @fluentd,����������� ������������������ @kiyototamura)
Thursday, June 27, 13
DEMO!
Thursday, June 27, 13
DEMO!
Chromebrowser����������� ������������������
logfluentd
your����������� ������������������ phone!
customizedin_tail
out_twilio
Thursday, June 27, 13
DEMO!
Chromebrowser����������� ������������������
logfluentd
your����������� ������������������ phone!
customizedin_tail
out_twilio
“CALL����������� ������������������ ME����������� ������������������ DEFINITELYIF����������� ������������������ MY����������� ������������������ EMPLOYEE����������� ������������������ IS����������� ������������������ SURFIN’����������� ������������������ FACEBOOK.COM”
Thursday, June 27, 13