Zentrales Logging mit Loki

Zentrales Logging mit Loki

January 14, 2021 7:16 pm | Published by

Logging ist ein Thema so alt wie die IT selbst. Betriebssysteme und Applikationen aller Arten stellen Logs bereit und das ist auch bitter notwendig. Durch die immer weiter steigende Komplexität, welche durch die weite Verwendung von Automatisierung und Micro Services bedingt ist, wird Auditing und eine Ausfallbewältigung immer aufwendiger. Eines der Probleme, welches hier gelöst wird, ist das Zentralisieren aller Log-Daten.

Dies ermöglicht das Zurückverfolgen von Events über alle Systeme, seien es Windows bzw. Linux Server, Netzwerk-, Storage Appliances als auch beliebige Custom Applikationen. Weiters wird die Fehlersuche, durch die von der Log Lösung bereitgestellten Query-Language vereinfacht, die es erlaubt mehrere Quellen parallel zu betrachten und zu analysieren.

Die vielseitige Lösung, die dank Automatisierungstools wie Ansible innerhalb kürzester Zeit deployed werden kann und nach nur wenigen Tagen an die Bedürfnisse des Kunden angepasst wurde, besteht ausschließlich aus OpenSource Komponenten. Die Lösung besteht aus folgenden Komponenten:

  • Fluent-Bit, wird als Agent auf dem Server verwendet, um Daten zu sammeln und diese auf Loki weiterzuleiten
  • Syslog-NG, verarbeitet eingehenden UDP Syslog Traffic und übersetzt ihn in ein standardisiertes Format
  • FluentD, akzeptiert die von Syslog-NG übertragenen Syslog Daten und leitet sie auf Loki weiter
  • Loki, ist der zentrale Logspeicher und speichert die Metadaten sowie Logs selbst
  • Grafana, wird für das Abfragen der Logs sowie für das Erstellen von Dashboards verwendet

 

Heutzutage ist es einfacher schon mit kleinem Aufwand eine substanzielle Verbesserung der TTS (“Time to Solution”) – der allgemeinen Reaktionszeit – zu erreichen. Zwei Komponenten in dieser Landschaft stellen Loki und Grafana dar.

 

Grafana Loki

Loki ist ein horizontal skalierbares, hochverfügbares, multi-tenant Log-Aggregations-System nach dem Vorbild von Prometheus. Es ist so konzipiert, dass es sehr kosteneffizient und einfach zu bedienen ist. Es indexiert nicht den Inhalt der Logs, sondern ein Set von Labels für jeden Log-Stream.

 

Sebastian Poxhofer ist Cloud Architect im Cloud & Automation Team. Mit einem einzigen Klick lassen er und das Team vollständige virtuelle Rechenzentren in der Cloud entstehen.

 

Tags: , , , ,

This post was written by Sebastian Poxhofer