Don't Make These 6 Prometheus Monitoring Mistakes | Prometheus Best Practices & Pitfalls

Summary

In diesem Video erklärt Julius die häufigsten Fehler, die beim Arbeiten mit Prometheus auftreten können, und gibt wertvolle Tipps, wie man diese vermeidet. Zu den wichtigsten Fehlern gehören das Erstellen von zu vielen Zeitserien durch unsachgemäßen Umgang mit Labels (Cardinality Bombs), das Aggregieren von zu vielen Labels bei Alarmen, die Auswahl falscher Zeitserien in PromQL-Abfragen, die missbräuchliche Nutzung des 'For'-Felds in Alarmregeln und das Arbeiten mit ungültigen Metriktypen in Rate-Funktionen. Mit diesen Tipps lässt sich Prometheus effektiver und effizienter nutzen, um Fehlalarme zu minimieren und die Leistung zu optimieren.

Takeaways

• 😀 Prometheus ist ein leistungsstarkes Tool für das Monitoring von Systemen und Services, aber es können viele Fehler auftreten, besonders zu Beginn, wenn man mit der Handhabung noch nicht vertraut ist.
• 😀 Cardinality Bombs: Zu viele Labels bei der Metrikaufteilung können zu einer Explosion der Time Series führen und den Prometheus-Server überlasten.
• 😀 Achten Sie darauf, Labels wie Benutzer-IDs, E-Mail-Adressen oder vollständige HTTP-Pfade zu vermeiden, da diese zu einer unüberschaubaren Anzahl von Time Series führen können.
• 😀 Verwenden Sie hauptsächlich Labels mit einer kleinen und gut definierten Wertmenge, um die Skalierbarkeit zu gewährleisten.
• 😀 Aggregieren Sie Labels nicht zu früh: Wenn Sie Labels zu früh aggregieren, verlieren Sie wichtige Informationen, die später in Alerts nützlich sein könnten.
• 😀 Verwenden Sie die by- oder without-Modifier bei Aggregatoren in Prometheus, um sicherzustellen, dass nützliche Labels für die spätere Alarmierung erhalten bleiben.
• 😀 Seien Sie vorsichtig bei der Auswahl von Metriken in PromQL-Queries, um unbeabsichtigt ähnliche Metriken aus anderen Services auszuwählen, die möglicherweise den Abgleich Ihrer Dashboards oder Alarme stören.
• 😀 Der 'for'-Wert in Alarmregeln hilft, unnötige Alarme durch kurzfristige Fehler zu vermeiden und die Alarmregeln robuster zu machen.
• 😀 Die 'for'-Dauer sollte so eingestellt werden, dass Alarme nicht sofort ausgelöst werden, wenn nur ein einziger Abruf fehlschlägt.
• 😀 Achten Sie darauf, dass Rate-Funktionen wie rate() und increase() immer über ausreichend Datenpunkte verfügen, um zuverlässige Ergebnisse zu liefern, insbesondere bei kurzen Zeitfenstern.
• 😀 Verwenden Sie rate() und verwandte Funktionen nur mit Zählermetriken und deriv() sowie predict_linear() nur mit Messwertmetriken, um falsche Berechnungen zu vermeiden.

Q & A

Was ist ein 'Cardinality Bomb' in Prometheus?

Ein 'Cardinality Bomb' tritt auf, wenn zu viele einzigartige Zeitreihen durch eine unsachgemäße Verwendung von Labels erstellt werden. Dies kann die Prometheus-Serverleistung stark beeinträchtigen. Zum Beispiel, wenn man Anfragen nach Benutzer-IDs und Methoden aufschlüsselt, kann dies zu einer exponentiellen Zunahme der Zeitreihen führen.

Wie kann man 'Cardinality Bombs' vermeiden?

Vermeide es, dynamische oder hochgradig variierende Werte wie Benutzer-IDs oder E-Mail-Adressen in Labels zu verwenden. Setze Labels mit einer kleinen und gut definierten Menge von Werten ein, um die Zahl der erstellten Zeitreihen zu kontrollieren.

Warum sollte man beim Aggregieren von Metriken mit Prometheus vorsichtig sein?

Beim Aggregieren von Metriken mit Funktionen wie 'sum()' werden alle Labels standardmäßig verworfen, was die spätere Verwendung dieser Labels in Alarmen und Dashboards erschwert. Es ist ratsam, wichtige Labels zu behalten, um eine sinnvolle Weiterverarbeitung zu ermöglichen.

Wie kann man wichtige Labels beim Aggregieren von Metriken beibehalten?

Verwende den 'by'-Modifikator in Aggregationsfunktionen wie 'sum()', um spezifische Labels zu bewahren. Alternativ kann der 'without'-Modifikator verwendet werden, um nur die Labels zu verwerfen, die für die Aggregation tatsächlich benötigt werden.

Was ist das Problem bei der ungenauen Auswahl von Zeitreihen in PromQL-Abfragen?

Wenn PromQL-Abfragen zu unspezifisch sind, kann es zu einer unbeabsichtigten Auswahl von Zeitreihen kommen, die nicht zu der beabsichtigten Metrik gehören. Dies kann zu falschen Alarmen oder Fehlinformationen in Dashboards führen.

Wie kann man sicherstellen, dass nur die gewünschten Metriken in einer PromQL-Abfrage ausgewählt werden?

Indem man die Abfragen auf bestimmte 'jobs' oder 'services' einschränkt, kann man sicherstellen, dass nur die relevanten Metriken abgefragt werden. So wird vermieden, dass Metriken von anderen, möglicherweise nicht verwandten Diensten, mit in die Auswahl kommen.

Warum ist das 'for'-Feld in Alarmregeln wichtig?

Das 'for'-Feld verhindert, dass Alarme sofort ausgelöst werden, wenn ein Problem nur kurzzeitig auftritt. Es gibt eine Zeitspanne, innerhalb derer die Bedingung bestehen muss, bevor der Alarm ausgelöst wird, um kurzzeitige Fluktuationen zu ignorieren.

Wie hilft das 'for'-Feld dabei, falsche Alarme zu verhindern?

Indem man eine Mindestdauer (z.B. einige Minuten) für den 'for'-Wert festlegt, wird der Alarm nur dann ausgelöst, wenn ein Problem über einen längeren Zeitraum besteht, was Fehlalarme aufgrund von kurzen Unterbrechungen oder Abweichungen verhindert.

Was sind 'gappy rates' und wie entstehen sie?

Gappy rates entstehen, wenn die Rate einer Metrik über ein zu kleines Zeitfenster berechnet wird, sodass nicht genügend Proben vorhanden sind, um eine zuverlässige Rate zu berechnen. Dies führt zu Lücken oder ungenauen Datenpunkten in den Grafiken.

Wie kann man 'gappy rates' in Prometheus vermeiden?

Stelle sicher, dass das Zeitfenster für die Berechnung der Rate groß genug ist, um mindestens zwei Proben für jede Zeitreihe zu erhalten. Eine gute Praxis ist es, das Zeitfenster mindestens viermal so groß wie das Abfrageintervall zu setzen, um Fehlersituationen zu vermeiden.

Warum ist es wichtig, die richtigen Metrik-Typen mit den richtigen Funktionen in Prometheus zu verwenden?

Die Verwendung der falschen Metrik-Typen mit Funktionen wie 'rate()' oder 'deriv()' führt zu falschen Ergebnissen. Beispielsweise ist 'rate()' nur für Zähler geeignet, während 'deriv()' für Messwerte geeignet ist. Die falsche Anwendung kann zu fehlerhaften Alarmen und ungenauen Metriken führen.

Wie können Prometheus-Nutzer Fehler bei der Anwendung von Funktionen auf falsche Metrik-Typen vermeiden?

Achte darauf, nur Zählermetriken mit Funktionen wie 'rate()', 'irate()' oder 'increase()' zu verwenden, und nur Messwertmetriken mit Funktionen wie 'deriv()' oder 'predict_linear()'. Nutze außerdem Tools wie den PromLens Query Builder, um potenzielle Fehler frühzeitig zu erkennen.