Мониторинг¶
Включите объекты мониторинга в чарте (им нужны Prometheus Operator и sidecar Grafana):
metrics:
serviceMonitor: { enabled: true }
prometheusRule: { enabled: true, overdueHours: { prod: 26, default: 50 } }
grafanaDashboard: { enabled: true }
Оповещения¶
| Оповещение | Срабатывает, когда | Runbook |
|---|---|---|
TenaxBackupOverdue |
Нет успешной полной резервной копии в течение overdueHours (по метке env) |
BackupOverdue |
TenaxBackupNeverSucceeded |
У цели ещё ни разу не было успешной резервной копии | BackupOverdue |
TenaxStreamLagHigh |
Поток изменений отстаёт | StreamLagHigh |
TenaxStreamChainBroken |
Цепочка восстановления на момент времени разорвана (слот потерян, binlog удалён) | StreamChainBroken |
TenaxVerificationFailed |
Последнее проверочное восстановление завершилось ошибкой | VerificationFailed |
TenaxVerificationOverdue |
Нет успешной проверки в течение 8 дней | VerificationFailed |
TenaxSlotWALRetentionHigh |
Слот репликации удерживает много WAL на базе данных | SlotWALRetentionHigh |
TenaxStoreUnreachable |
BackupStore недоступен | StoreUnreachable |
TenaxGCFailing |
Сборка мусора давно не завершалась успешно | GCFailing |
TenaxSandboxExpiryFailing |
Песочницы с истёкшим TTL не удаляются | SandboxExpiryFailing |
Правила поставляются в charts/tenax/files/prometheus-rules.yaml и покрыты unit-тестами с promtool. Все метрики
перечислены в разделе Метрики.
Дашборд¶
Дашборд Grafana Tenax показывает для каждой цели: последний успех, длительность и размер резервного копирования (исходный и хранимый), задержку потока, окно восстановления, результаты проверки и время восстановления, удержание WAL слотом, размер хранилища, глубину очереди и активные песочницы.