監控¶
啟用 Chart 的監控物件(需要 Prometheus Operator 和 Grafana sidecar):
metrics:
serviceMonitor: { enabled: true }
prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
grafanaDashboard: { enabled: true }
警示¶
| 警示 | 觸發條件 | 維運手冊 |
|---|---|---|
TenaxBackupOverdue |
在 overdueHours(依 env 標籤)內沒有成功的完整備份 |
BackupOverdue |
TenaxBackupNeverSucceeded |
某個目標從未有過成功的備份 | BackupOverdue |
TenaxStreamLagHigh |
變更串流落後 | StreamLagHigh |
TenaxStreamChainBroken |
時間點鏈斷裂(複製槽遺失、binlog 被清除) | StreamChainBroken |
TenaxVerificationFailed |
最近一次驗證還原失敗 | VerificationFailed |
TenaxVerificationOverdue |
連續 8 天沒有成功的驗證 | VerificationFailed |
TenaxSlotWALRetentionHigh |
某個複製槽在資料庫上保留了大量 WAL | SlotWALRetentionHigh |
TenaxStoreUnreachable |
無法存取某個 BackupStore | StoreUnreachable |
TenaxGCFailing |
垃圾回收近期沒有成功 | GCFailing |
TenaxSandboxExpiryFailing |
超過 TTL 的沙盒沒有被刪除 | SandboxExpiryFailing |
這些規則位於 charts/tenax/files/prometheus-rules.yaml,並用 promtool 進行了單元測試。所有指標都列在
指標中。
儀表板¶
Tenax Grafana 儀表板依目標顯示:最近一次成功、備份耗時和大小(原始大小與儲存大小)、串流延遲、時間點還原時間窗、 驗證結果和還原耗時、複製槽 WAL 保留量、儲存大小、佇列深度以及作用中的沙盒。