Monitoring¶
Schalten Sie die Monitoring-Objekte des Charts ein (sie brauchen den Prometheus Operator und einen Grafana-Sidecar):
metrics:
serviceMonitor: { enabled: true }
prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
grafanaDashboard: { enabled: true }
Alarme¶
| Alarm | Wird ausgelöst, wenn | Runbook |
|---|---|---|
TenaxBackupOverdue |
Seit overdueHours (pro env-Label) keine erfolgreiche Vollsicherung lief |
BackupOverdue |
TenaxBackupNeverSucceeded |
Ein Ziel noch nie ein erfolgreiches Backup hatte | BackupOverdue |
TenaxStreamLagHigh |
Der Änderungsstrom im Rückstand ist | StreamLagHigh |
TenaxStreamChainBroken |
Die Point-in-Time-Kette abgerissen ist (Slot verloren, Binlog gelöscht) | StreamChainBroken |
TenaxVerificationFailed |
Die letzte Prüfungs-Wiederherstellung fehlgeschlagen ist | VerificationFailed |
TenaxVerificationOverdue |
Seit 8 Tagen keine erfolgreiche Prüfung lief | VerificationFailed |
TenaxSlotWALRetentionHigh |
Ein Replikations-Slot auf der Datenbank viel WAL zurückhält | SlotWALRetentionHigh |
TenaxStoreUnreachable |
Ein BackupStore nicht erreichbar ist | StoreUnreachable |
TenaxGCFailing |
Die Garbage Collection in letzter Zeit nicht erfolgreich war | GCFailing |
TenaxSandboxExpiryFailing |
Sandboxes nach Ablauf ihrer TTL nicht gelöscht werden | SandboxExpiryFailing |
Die Regeln liegen in charts/tenax/files/prometheus-rules.yaml und werden mit promtool per Unit-Test geprüft.
Jede Metrik ist unter Metriken aufgeführt.
Dashboard¶
Das Grafana-Dashboard Tenax zeigt pro Ziel: letzten Erfolg, Dauer und Größe der Backups (roh und gespeichert), Stream-Verzögerung, Point-in-Time-Fenster, Prüfungsergebnisse und Wiederherstellungsdauer, WAL-Rückhaltung der Slots, Größe des Stores, Warteschlangentiefe und aktive Sandboxes.