모니터링¶
차트의 모니터링 오브젝트를 켜세요(Prometheus Operator와 Grafana 사이드카가 필요합니다).
metrics:
serviceMonitor: { enabled: true }
prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
grafanaDashboard: { enabled: true }
알림¶
| 알림 | 발생 조건 | 런북 |
|---|---|---|
TenaxBackupOverdue |
overdueHours 동안 성공한 전체 백업이 없음 (env 레이블별) |
BackupOverdue |
TenaxBackupNeverSucceeded |
대상에 성공한 백업이 한 번도 없음 | BackupOverdue |
TenaxStreamLagHigh |
변경 스트림이 뒤처짐 | StreamLagHigh |
TenaxStreamChainBroken |
특정 시점 체인이 끊어짐 (슬롯 손실, binlog 삭제) | StreamChainBroken |
TenaxVerificationFailed |
마지막 검증 복원이 실패함 | VerificationFailed |
TenaxVerificationOverdue |
8일 동안 성공한 검증이 없음 | VerificationFailed |
TenaxSlotWALRetentionHigh |
복제 슬롯이 데이터베이스에 WAL을 많이 보관하고 있음 | SlotWALRetentionHigh |
TenaxStoreUnreachable |
BackupStore에 접근할 수 없음 | StoreUnreachable |
TenaxGCFailing |
최근 가비지 컬렉션이 성공하지 못함 | GCFailing |
TenaxSandboxExpiryFailing |
TTL이 지난 샌드박스가 삭제되지 않음 | SandboxExpiryFailing |
규칙은 charts/tenax/files/prometheus-rules.yaml에 포함되어 있으며 promtool로 단위 테스트됩니다. 모든 메트릭은
메트릭에 나열되어 있습니다.
대시보드¶
Tenax Grafana 대시보드는 대상별로 최근 성공, 백업 소요 시간과 크기(원본 및 저장), 스트림 지연, 특정 시점 복원 가능 기간, 검증 결과와 복원 시간, 슬롯 WAL 보관량, 스토어 크기, 큐 깊이, 활성 샌드박스를 보여 줍니다.