Skip to main content

Dashboard, SLI și reguli de alertare

Dashboard as code​

Dacă un dashboard este creat manual în interfață, acesta se pierde la recrearea clusterului. De aceea, este de preferat ca acesta să fie într-un format declarativ, versionat în repository:

charts/ticketing/dashboards/ticketing-overview.json

Chart-ul îl include într-un ConfigMap etichetat grafana_dashboard=1, iar sidecar-ul Grafana îl încarcă automat.

În Grafana deschideți Dashboards → Browse și selectați:

Ticketing API - RED and autoscaling

Dashboard-ul conține:

  • request rate
  • error rate
  • latența p95
  • replicile API disponibile
  • cereri grupate după status
  • latențele p50 și p95
  • CPU pe pod
  • tichete create.

De la metrică la SLI și SLO​

O metrică este o măsurătoare brută. Un SLI exprimă calitatea serviciului, iar un SLO stabilește ținta dorită.

În laborator folosim două SLI-uri:

SLICalculȚintă demonstrativă
disponibilitate1 - rata răspunsurilor 5xxminimum 99%
latențăpercentila 95 a durateimaximum 0,5 secunde

Pragurile sunt intenționat stricte, astfel încât incidentul să fie vizibil rapid. Un SLO real se stabilește pe baza nevoilor utilizatorilor și a datelor istorice.

Reguli versionate​

Inspectați PrometheusRule:

kubectl get prometheusrule ticketing-slo -n cc-lab5 -o yaml

Regulile definesc:

  • TicketingHighErrorRate când rata 5xx depășește 1%
  • TicketingHighP95Latency când p95 depășește 0,5 secunde.

Starea poate fi urmărită în Prometheus, în secțiunea Alerts, sau prin API:

curl --silent http://localhost:9090/api/v1/rules \
| jq '.data.groups[] | select(.name=="ticketing-api.slo")'

De ce nu configurăm manual​

Dashboard-ul și regulile declarative oferă:

  • reproducibilitate între clustere
  • review în Git
  • istoric și rollback
  • instalare împreună cu aplicația
  • eliminarea pașilor greu de verificat din interfața web.

Putem explora și modifica temporar panourile în Grafana, dar schimbarea persistentă trebuie salvată în JSON-ul versionat.