Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014

www.netways.de // blog.netways.de // @netways

We love Open Source

20.02.2014 | WEBINAR

LOGSTASHOPEN SOURCE LOG-

MANAGEMENT

BLERIM SHEQA | CHRISTIAN STEIN | NETWAYS

GMBH


We love Open Source

VORSTELLUNG MITARBEITER

￭ Christian Stein Account Manager Bei NETWAYS seit 2012

￭ Blerim Sheqa Systems Engineer Bei NETWAYS seit 2013


We love Open Source

AGENDA

￭ Vorstellung NETWAYS

￭ Logstash

￭ Logstash Architektur

￭ Integration in die IT-Landschaft

￭ Live Demo

￭ Fragen und Antworten


We love Open Source

VORSTELLUNG NETWAYS


We love Open Source

VORSTELLUNG NETWAYS

￭ Firmengründung 1995

￭ Open Source seit 1997

￭ Aktuell 38 Mitarbeiter

￭ Spezialisierung in den Bereichen

Open Source Systems Management

und Open Source Datacenter


We love Open Source

NETWAYS KOMPETENZEN

￭ Monitoring

￭ Graphing

￭ Logmanagement

￭ Konfigurationsmanagement

￭ Reporting

￭ Private Cloud

￭ Reporting

￭ Backup

￭ Projektmanagement

￭ Consulting

￭ Hosting

￭ Managed Services

￭ Development

￭ Support

￭ Betrieb

￭ Schulungen

￭ Konferenzen

￭ Monitoring Hardware


We love Open Source

NETWAYS PRODUKTE

GRAPHITE


We love Open Source

NETWAYS KONFERENZEN

CeBIT 2014

￭ 10. – 14. März 2014 in Hannover

￭ Halle 6, Stand E16 (310)

Open Source Data Center

Conference

￭ 09. – 10. April 2014 in Berlin

￭ 2 Tracks mit Vorträgen &

Workshops

￭ “Simplifying Complex IT

Infrastructures with Open

Source”


We love Open Source

NETWAYS KONFERENZEN

Puppet Camp

￭ 11. April 2014 in Berlin

￭ “Current state of Puppet, best

practices and upcoming

features”

￭ Open Source Monitoring

Conference

• 18. – 20. November 2014

• 250 Teilnehmer (2013)

• Monitoring Best Practices


We love Open Source

NETWAYS SCHULUNGEN


We love Open Source

NETWAYS COMMUNITY

www.netways.org

￭ NETWAYS Addons

￭ NETWAYS Plugins

www.icinga.org

￭ Development

￭ Hosting

www.monitoringexchange.org

￭ Icinga / Nagios Addons und

Plugins

￭ > 2000 Projekte

http://www.netways.org/

http://www.icinga.org/

http://www.monitoringexchange.org/


We love Open Source

NETWAYS KUNDEN – CONSULTING (AUSZUG)


We love Open Source

NETWAYS KUNDEN – HOSTING (AUSZUG)


We love Open Source

UNSERE LEISTUNGEN IM ÜBERBLICK

￭ Konzeptionierung und Planung

￭ Workshops & Consulting zur Implementierung vor Ort

￭ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung

￭ Entwicklungsleistungen Plugins und Filter Systemintegration

￭ Schulungen Standardisierte Schulungsmodule Individuell vor Ort

￭ Support Standardverträge Individuelle Supportkonzepte

￭ Konferenzen


We love Open Source

OPEN SOURCE LOGMANAGEMENT

LOGSTASH


We love Open Source

LOGSTASH

￭ Ziele

Logdateien in großen Mengen behandeln

Analyse der Daten

Anbindung an Monitoringsysteme

Dashboards für Visualisierung und Analyse

Weiterleitung der Daten an Drittsyteme


We love Open Source

PROBLEMSTELLUNG

￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666

"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"



￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245






￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245


￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245



We love Open Source

VORGEHEN OHNE LOGMANGEMENT

￭ Regex Magic

^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\

d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]

+)\" \"([^\"]+)\"

￭ Pro Logformat eine eigene Regex

￭ Aufwendig und zeitintensiv

￭ Nur für technisch Versierte

￭ Schlecht für die Teamarbeit


We love Open Source

SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH


We love Open Source

LOGSTASH ARCHITEKTUR


We love Open Source


Logstash:Pipe on Steroids

Input

Filter

Output


We love Open Source

SORTIERUNG DER DATEN

￭ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json

HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"

￭ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":

"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101

Firefox/22.0"

￭ Pattern "%{COMBINEDAPACHELOG}"


We love Open Source


Server

SwitchWebapplikatio

n

• Input• Output

• Key-Value Store

• Puffer

• Input• Filter• Output

• Index• Queries


We love Open Source

INTEGRATION IN DIE IT-LANDSCHAFT


We love Open Source

LOGSTASH PLUGINS UND FILTER

￭ drupal_dblog￭ elasticsearch￭ eventlog￭ exec￭ file￭ ganglia￭ gelf￭ gemfire￭ generator￭ graphite￭ heroku￭ imap￭ irc￭ log4j￭ lumberjack￭ pipe￭ rabbitmq

￭ redis￭ relp￭ s3￭ snmptrap￭ sqlite￭ sqs￭ stdin￭ stomp￭ syslog￭ tcp￭ twitter￭ udp￭ unix￭ varnishlog￭ websocket￭ wmi￭ xmpp￭ zenoss￭ zeromq

￭ advisor￭ alter￭ anonymize￭ checksum￭ cidr￭ cipher￭ clone￭ collate￭ csv￭ date￭ dns￭ drop￭ environment￭ extractnumbers￭ gelfify￭ geoip￭ grep￭ grok￭ grokdiscovery￭ json￭ json_encode￭ kv

￭ metaevent￭ metrics￭ multiline￭ mutate￭ noop￭ prune￭ railsparallel-

request￭ range￭ ruby￭ sleep￭ split￭ syslog_pri￭ translate￭ urldecode￭ useragent￭ uuid￭ xml￭ zeromq

￭ boundary￭ circonus￭ cloudwatch￭ datadog￭ datadog_metrics￭ elasticsearch￭ elasticsearch_htt

p￭ elasticsearch_riv

er￭ email￭ exec￭ file￭ ganglia￭ gelf￭ gemfire￭ google_cloud_st

orage￭ graphite￭ graphtastic￭ hipchat￭ http￭ irc￭ jira￭ juggernaut￭ librato￭ loggly

￭ lumberjack￭ metriccatcher￭ mongodb￭ nagios￭ nagios_nsca￭ null￭ opentsdb￭ pagerduty￭ pipe￭ rabbitmq￭ redis￭ riak￭ riemann￭ s3￭ sns￭ sqs￭ statsd￭ stdout￭ stomp￭ syslog￭ tcp￭ udp￭ websocket￭ xmpp￭ zabbix￭ zeromq

Input (36) Filter (40) Output (50)


We love Open Source

￭ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch

￭ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)


We love Open Source

ANWENDUNGSMÖGLICHKEITEN

￭ Systemlogs (Problemanalyse)

￭ Webserver Access- und Errorlogs

￭ Logs der eigenen Applikation (Profiling)

￭ Alerts via Icinga, E-Mail, XMPP, …

￭ Statistiken (Graphite)


We love Open Source

LIVE DEMO


We love Open Source

FRAGEN UND ANTWORTEN


We love Open Source

KONTAKTDATEN

10. – 14. März 2014

Halle 6, Stand E16 (310)

NETWAYS GmbH

Deutschherrnstrasse 15-19

90429 Nürnberg

Tel: +49 911 92885-0

Fax: +49 911 92885-77

E-Mail: [email protected]

Website: www.netways.de

Twitter: twitter.com/netways

Facebook:

facebook.com/netways

Blog: blog.netways.de

Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014

Technology

Transcript of Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014