Logstash, Elasticsearch und Kibana

Jeder Computer und fast jedes darauf laufende Service produziert Logdaten. Egal ob wir in diesen Logdaten eine Volltextsuche durchführen wollen oder eine strukturierte Analyse über viele Wochen erstellen müssen sind die Werkzeuge wie Logstash, Elastiksearch und Kibana ein unerlässliches Hilfsmittel.

Zuerst liest Logstash Logdaten beliebiger Quellen ein und zerlegt jede einzelne Logzeile in einzelne Felder. Diese Zerlegung hat den Vorteil dass anschliessend ohne Regex Künste eine Suche in den Feldern vorgenommen werden kann. Alle gesammelten Log Informationen werden danach in der Datenbank von Elasticsearch gespeichert. Neben der Fähigkeit die Daten zu speichern ist Elasticsearch auch einer der mächtigsten Suchserver die heutzutage verfügbar ist. Um die Suchdaten und Trends abschliessend grafisch darstellen zu können benutzen wir die Visualisierungsoftware Kibana.

Diese Schulung richtet sich an Teilnehmer*innen mit Administrationserfahrungen im Linux Bereich wie sie durch unsere Kurse Linux 1 - Grundlagen und Linux 2 - System Administration vermittelt werden.

Diese Schulung richtet sich an Teilnehmer*innen mit Administrationserfahrungen im Linux Bereich wie sie durch unsere Kurse Linux 1 - Grundlagen und Linux 2 - System Administration vermittelt werden.

• Der ELK-Stack im Überblick
  • Elasticsearch
  • Logstash
  • Kibana
  • X-Pack
  • Beats
• Anwendungsgebiete von ELK
• Grundlagen JavaScript Object Notation (JSON)
  • Datentypen von JSON
  • JSON Syntax im Detail
• Skalierbares Cluster Setup
• Logstash
  • Installation und Konfiguration von Logstash
  • Inputs, Filters, and Outputs
  • Plugins Verwaltung
  • Zerlegen von Logzeilen in seine einzelnen Komponenten (Fields)
  • curl
  • grok Plugin im Detail
  • mutate Plugin im Detail
  • Einlesen und Modifizieren von Logdateien (syslog, apache,...)
  • Troubleshooting logstash
• Elasticsearch
  • Installation und Konfiguration von Elasticsearch
  • HTTP Kommunikation über RESTful
  • Aufbau und Verwaltung eines Elasticsearch Clusters
  • Terminology: Documents, Index, Shards, Node, Cluster
  • Documents, Types und Indices im Detail
  • Importieren von Daten in Elasticsearch
  • Zugriff auf Dokumente in Elasticsearch
  • Monitoring Elasticsearch Logs und Metriken
  • Index- und Clusterverwaltung mit Snapshots (Backup und Restore, Migrieren eines Index,...)
  • Versionsupgrade von Elasticsearch
  • Praktische Übungen mit Elasticsearch
  • Troubleshooting elasticsearch
• Kibana
  • Installation und Konfiguration
  • Time Picker, Search, and Filters
  • Kibana Discover
  • Visualization Interface
  • Dashboard Interface
  • Praktische Beispiele mit Kibana
  • Backup der Einstellungen
• Datensammlung mit Beats
  • Winlogbeat (Windows)
  • Metricbeat (Linux und Windows)
  • Packetbeat (Linux und Windows)
  • Auditbeat (Linux und Windows)
• X-Pack
  • Funktionsüberblick
  • Aktivieren und Deaktiviern von X-Pack Features in logstash, elasticsearch und kibana
  • Einrichten einer Authentifizierung
  • Einrichten von Security Audit
• Praktische Übungen mit ELK
  • Einsatz von Filtern zur Modifikation von Logs und Events
  • Indexieren von Daten
  • Extrahieren von Daten
  • Analysieren von Daten 
  • Updaten und Löschen von Daten