Monitorowanie¶
Włącz obiekty monitorowania w chartcie (wymagają Prometheus Operator i sidecara Grafana):
metrics:
serviceMonitor: { enabled: true }
prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
grafanaDashboard: { enabled: true }
Alerty¶
| Alert | Uruchamia się, gdy | Runbook |
|---|---|---|
TenaxBackupOverdue |
Brak udanej pełnej kopii zapasowej przez overdueHours (według etykiety env) |
BackupOverdue |
TenaxBackupNeverSucceeded |
Cel nigdy nie miał udanej kopii zapasowej | BackupOverdue |
TenaxStreamLagHigh |
Strumień zmian jest opóźniony | StreamLagHigh |
TenaxStreamChainBroken |
Łańcuch point-in-time został przerwany (utracony slot, wyczyszczony binlog) | StreamChainBroken |
TenaxVerificationFailed |
Ostatnie przywracanie weryfikacyjne się nie powiodło | VerificationFailed |
TenaxVerificationOverdue |
Brak udanej weryfikacji przez 8 dni | VerificationFailed |
TenaxSlotWALRetentionHigh |
Slot replikacji zatrzymuje dużo WAL w bazie danych | SlotWALRetentionHigh |
TenaxStoreUnreachable |
BackupStore jest nieosiągalny | StoreUnreachable |
TenaxGCFailing |
Odśmiecanie nie powiodło się w ostatnim czasie | GCFailing |
TenaxSandboxExpiryFailing |
Piaskownice po upływie TTL nie są usuwane | SandboxExpiryFailing |
Reguły są dostarczane w charts/tenax/files/prometheus-rules.yaml i mają testy jednostkowe w promtool. Każda
metryka jest wymieniona w Metrykach.
Dashboard¶
Dashboard Grafana Tenax pokazuje dla każdego celu: ostatni sukces, czas trwania i rozmiar kopii zapasowej (surowy i zapisany), opóźnienie strumienia, okno point-in-time, wyniki weryfikacji i czas przywracania, retencję WAL w slocie, rozmiar magazynu, głębokość kolejki i aktywne piaskownice.