Was ist neu und gehört nun zum Standard?
Die sechste (Stable) Version von Grafana wurde Ende Februar 2019 veröffentlicht. Der Artikel „What‘s New in Grafana v6.0“ von Grafana listet neun Highlights auf, wovon zwei uns sehr interessiert haben: Grafana Loki und Explore.
Explore the … Data ? Logs ? Metrics ?
Bei Grafana dreht sich alles um das Erstellen von Dashboards und das Visualisieren von gesammelten Daten. Explore läßt Dashboards sowie das Visuelle links liegen und fokussiert sich auf Anfragen an die Datenquellen. Durch Explore kann sich der Workflow zum Debuggen von Problemen deutlich verbessern, sofern man seine Systeme und Grafana dafür vorbereitet. Dies schafft man, indem man alle Daten in Grafana zur Verfügung hat und nicht mehr auf weitere Werkzeuge wechseln muss. Natürlich heißt dies auch, dass die Log Einträge der Applikationen sowie des Systems zur Verfügung stehen müssen. Dies wird durch die Grafana Loki Datenquelle gewährleistet.
Ein solcher Workflow mit Grafana, Loki und Prometheus würde wie folgt aussehen:
Ein Alert tritt ein
Die Dashboards überprüfen
Mittels Explore die Metriken genauer überprüfen
Mittels Explore die Logdateien der Applikation überprüfen
Der Clou am Explore ist das Aufteilen ( Split ) des Explore Bildschirms, so können wir auf der linken Seite unseren Prometheus und auf der rechten Seite den Loki abfragen. Auf diesem Weg kann man eine Verbindung zwischen Log und Metriken / Alert schließen.
Was leider nicht funktioniert ( Grafana v6.2.0-pre ), ist das gemeinsame Teilen eines Zeitraums für die linke sowie rechte Seite der Explore Anfragen. Hat man den Zeitraum in der rechte Seiten geändert, muss dieses auf der linken Seite auch geschehen.
Grafana Loki: A Datasource like Prometheus, but for logs.
Loki ist ein Log Aggregation System, das durch Prometheus inspiriert ist. Entsprechend konzentriert sich Loki nur auf Logs und kümmert sich nicht um Metriken. Die Log-Einträge werden an Loki via push gesendet, anders als bei Prometheus, das sich seine Daten via pull besorgt.
Hier die Unterschiede zu anderen Log Aggregations Systemen:
- Indiziert nicht den vollen Text der Log-Einträge
- Indiziert und gruppiert die log Streams anhand von Labels
- Nativer Support in Grafana ( ab Grafana v6.0 )
- Anpassungen zum Abspeichern von Kubernetes Pod Logs. Pod Labels sowie andere Metadaten werden automatisch sortiert und indiziert.
Da es sich bei Loki nur um den Server zum Speichern der Log-Einträge handelt, gehören zum kompletten Loki Stack folgende Applikationen:
- Grafana Loki : zum Abspeichern der Log-Einträge
- Grafana : zum Abfragen und Anzeigen der Log-Einträge
- Promtail : Client zum Log sammeln und weiterleiten zu Loki
Zudem gibt es noch das Program logcli1 für Abfragen an Loki über die CLI, dies ist jedoch eher ein Proof of Concept.
Der Client Promtail kann sowohl im Kubernetes Cluster als auch standalone benutzt werden. Anhand der Konfigurationdatei können via Regex Regeln definiert werden, welche Log-Dateien vom Promtail gelesen werden sollen. Selbstverständlich können auch definierte Dateien angegeben werden.
Zum aktuellen Zeitpunkt, 26.04.2019, befindet sich Grafana Loki noch im Alpha Zustand.
Sprechen Sie uns gerne an, wenn Sie sich einmal ganz unverbindlich zu diesem Thema austauschen möchten!