Dashboard, SLI și reguli de alertare
Dashboard as code
Dacă un dashboard este creat manual în interfață, acesta se pierde la recrearea clusterului. De aceea, este de preferat ca acesta să fie într-un format declarativ, versionat în repository:
charts/ticketing/dashboards/ticketing-overview.json
Chart-ul îl include într-un ConfigMap etichetat grafana_dashboard=1, iar sidecar-ul Grafana
îl încarcă automat.
În Grafana deschideți Dashboards → Browse și selectați:
Ticketing API - RED and autoscaling
Dashboard-ul conține:
- request rate
- error rate
- latența p95
- replicile API disponibile
- cereri grupate după status
- latențele p50 și p95
- CPU pe pod
- tichete create.
De la metrică la SLI și SLO
O metrică este o măsurătoare brută. Un SLI exprimă calitatea serviciului, iar un SLO stabilește ținta dorită.
În laborator folosim două SLI-uri:
| SLI | Calcul | Țintă demonstrativă |
|---|---|---|
| disponibilitate | 1 - rata răspunsurilor 5xx | minimum 99% |
| latență | percentila 95 a duratei | maximum 0,5 secunde |
Pragurile sunt intenționat stricte, astfel încât incidentul să fie vizibil rapid. Un SLO real se stabilește pe baza nevoilor utilizatorilor și a datelor istorice.
Reguli versionate
Inspectați PrometheusRule:
kubectl get prometheusrule ticketing-slo -n cc-lab5 -o yaml
Regulile definesc:
TicketingHighErrorRatecând rata5xxdepășește 1%TicketingHighP95Latencycând p95 depășește 0,5 secunde.
Starea poate fi urmărită în Prometheus, în secțiunea Alerts, sau prin API:
curl --silent http://localhost:9090/api/v1/rules \
| jq '.data.groups[] | select(.name=="ticketing-api.slo")'
De ce nu configurăm manual
Dashboard-ul și regulile declarative oferă:
- reproducibilitate între clustere
- review în Git
- istoric și rollback
- instalare împreună cu aplicația
- eliminarea pașilor greu de verificat din interfața web.
Putem explora și modifica temporar panourile în Grafana, dar schimbarea persistentă trebuie salvată în JSON-ul versionat.