Multi-region ověření výpadků

4 min čtení

Single-region monitoring vás budí ve tři ráno na falešný alarm, protože náš ISP měl route flap. Multi-region řeší tohle: výpadek se potvrdí jen když ho hlásí alespoň 2 z N regionů.

Jak to funguje

1. Primary check (z našeho hlavního serveru) řekne DOWN.
2. Před eskalací systém zavolá secondary workers (3-5 lokací).
3. Worker udělá lokální test, vrátí UP/DOWN za 1-5 s.
4. Pokud ≥ N workerů potvrdí DOWN, monitor se označí DOWN a chodí alerty.
5. Pokud primary řekl DOWN, ale workers UP - byl to flake, žádný alert.

Aktuální stav nasazení

Aktuálně máme nasazen jeden secondary worker - eu1 (EU region). Architektura je multi-region ready - přidání dalších regionů je připraveno na straně backendu a vyžaduje pouze nasazení dalšího worker uzlu. Plánujeme rozšíření v nadcházejících měsících.

Jak se to projeví v UI

V detailu monitoru při každém DOWN eventu vidíte: