跳轉到

監控

啟用 Chart 的監控物件(需要 Prometheus Operator 和 Grafana sidecar):

metrics:
  serviceMonitor: { enabled: true }
  prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
  grafanaDashboard: { enabled: true }

警示

警示 觸發條件 維運手冊
TenaxBackupOverdue 在 overdueHours(依 env 標籤)內沒有成功的完整備份 BackupOverdue
TenaxBackupNeverSucceeded 某個目標從未有過成功的備份 BackupOverdue
TenaxStreamLagHigh 變更串流落後 StreamLagHigh
TenaxStreamChainBroken 時間點鏈斷裂(複製槽遺失、binlog 被清除) StreamChainBroken
TenaxVerificationFailed 最近一次驗證還原失敗 VerificationFailed
TenaxVerificationOverdue 連續 8 天沒有成功的驗證 VerificationFailed
TenaxSlotWALRetentionHigh 某個複製槽在資料庫上保留了大量 WAL SlotWALRetentionHigh
TenaxStoreUnreachable 無法存取某個 BackupStore StoreUnreachable
TenaxGCFailing 垃圾回收近期沒有成功 GCFailing
TenaxSandboxExpiryFailing 超過 TTL 的沙盒沒有被刪除 SandboxExpiryFailing

這些規則位於 charts/tenax/files/prometheus-rules.yaml,並用 promtool 進行了單元測試。所有指標都列在 指標中。

儀表板

Tenax Grafana 儀表板依目標顯示:最近一次成功、備份耗時和大小(原始大小與儲存大小)、串流延遲、時間點還原時間窗、 驗證結果和還原耗時、複製槽 WAL 保留量、儲存大小、佇列深度以及作用中的沙盒。