モニタリング¶
チャートのモニタリング用オブジェクトを有効にします (Prometheus Operator と Grafana のサイドカーが必要です)。
metrics:
serviceMonitor: { enabled: true }
prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
grafanaDashboard: { enabled: true }
アラート¶
| アラート | 発報条件 | ランブック |
|---|---|---|
TenaxBackupOverdue |
overdueHours (env ラベルごと) の間、成功したフルバックアップがない |
BackupOverdue |
TenaxBackupNeverSucceeded |
ターゲットで一度もバックアップが成功していない | BackupOverdue |
TenaxStreamLagHigh |
変更ストリームが遅れている | StreamLagHigh |
TenaxStreamChainBroken |
ポイントインタイムのチェーンが途切れた (スロットの喪失、binlog のパージ) | StreamChainBroken |
TenaxVerificationFailed |
直近の検証復元が失敗した | VerificationFailed |
TenaxVerificationOverdue |
8 日間、検証が成功していない | VerificationFailed |
TenaxSlotWALRetentionHigh |
レプリケーションスロットがデータベース上に大量の WAL を保持している | SlotWALRetentionHigh |
TenaxStoreUnreachable |
BackupStore に到達できない | StoreUnreachable |
TenaxGCFailing |
ガベージコレクションが最近成功していない | GCFailing |
TenaxSandboxExpiryFailing |
TTL を過ぎたサンドボックスが削除されていない | SandboxExpiryFailing |
ルールは charts/tenax/files/prometheus-rules.yaml に含まれ、promtool でユニットテストされています。すべてのメトリクスは
メトリクス に一覧があります。
ダッシュボード¶
Grafana の Tenax ダッシュボードは、ターゲットごとに次を表示します: 直近の成功、バックアップの所要時間とサイズ (元のサイズと 保存サイズ)、ストリームの遅延、ポイントインタイムウィンドウ、検証結果と復元時間、スロットの WAL 保持量、ストアのサイズ、 キューの深さ、アクティブなサンドボックス。