Pulpit nawigacyjny jest zielony, a mimo to klienci narzekają, że płatność jest zepsuta. Jeśli byłeś w takiej sytuacji, już rozumiesz różnicę między monitorowaniem a obserwowalnością. Twój monitoring sprawdził tylko to, co miałeś sprawdzić, a ta awaria jest czymś nowym.

W tym przewodniku wyjaśniono oba pomysły bez użycia języka marketingowego i opisano jedno fikcyjne zdarzenie, począwszy od ostrzeżenia aż do pierwotnej przyczyny. Dzienniki, ślady i liczby wymyślono w celu zilustrowania procesu. Powinieneś także wiedzieć, że sprzedawcy i praktycy rysują tę granicę inaczej, a niektórzy uważają to częściowo za rozróżnienie marketingowe. Skupiamy się na części praktycznej.

Krótka odpowiedź

Monitorowanie to czynność. Z góry decydujesz, co oglądać, np. procesor, poziom błędów czy miejsce na dysku, i ustawiasz progi wyzwalające alerty. Odpowiedź brzmi: „Czy dzieje się to, o co się martwiłem?”

Obserwowalność to właściwość Twojego systemu. Termin pochodzi z teorii sterowania, gdzie opisuje, jak dobrze można wnioskować o stanie wewnętrznym systemu na podstawie jego zewnętrznych wyników. W praktyce odpowiada: „Co się dzieje i dlaczego, w tym w przypadku problemów, których nigdy się nie spodziewałem?”

Pomyśl o samochodzie. Lampki ostrzegawcze na desce rozdzielczej monitorują. Obejmują zestaw znanych problemów. Pełny port diagnostyczny mechanika, który pozwala zadać nowe pytania dotyczące dowolnej części silnika, jest bliższy obserwowalności.

Monitorowanie a obserwowalność obok siebie

To nie jest wybór pomiędzy nimi dwoma. Nadal potrzebujesz alertów, które informują Cię, kiedy szukać.

Dlaczego sam monitoring nie wystarczy

W przypadku jednej aplikacji na jednym serwerze lista rzeczy, które mogą pójść nie tak, jest dość krótka, więc można je wszystkie obejrzeć. Nowoczesny system może zawierać dziesiątki usług, kolejek i interfejsów API innych firm, a także kontenery, które przychodzą i znikają. Awarie stają się kombinacjami, których nikt nie przewidywał: jeden region, jeden typ klienta, konkretna wersja aplikacji i pojedyncza powolna zależność.

Nie możesz z wyprzedzeniem napisać dashboardu dla pytania, o którym nie pomyślałeś. Potrzebujesz danych, które pozwolą Ci zadać je później.

Dzienniki, metryki i ślady

Te trzy typy telemetrii są często nazywane filarami obserwowalności. Każdy odpowiada na inne pytanie:

Metryki

http_requests_total{service="checkout", status="500"} 1832
http_request_duration_seconds{service="checkout", quantile="0.95"} 2.4

Metryki są tanie w przechowywaniu i szybkie w zapytaniach, co czyni je idealnymi do tworzenia pulpitów nawigacyjnych i alertów. Uważaj na etykiety o dużej kardynalności, takie jak identyfikator użytkownika, w wielu systemach metrycznych, ponieważ mogą one gwałtownie zwiększyć koszty.

Ślady

Śledzenie następuje po jednym żądaniu w różnych usługach. Każdy krok to zakres z czasem rozpoczęcia i czasem trwania:

POST /checkout                      2410 ms
├─ auth-service: verify token         18 ms
├─ cart-service: load cart            42 ms
├─ pricing-service: calculate       2290 ms   <-- slow
│  └─ SELECT coupons ...            2265 ms
└─ payment-service: not reached

Śledzenie sprawia, że powolny krok staje się oczywisty, co bardzo trudno dostrzec w oddzielnych dziennikach z oddzielnych usług.

Dzienniki

Dzienniki zawierają szczegółowe informacje o tym, co wydarzyło się w danym momencie. Za chwilę zastanowimy się, jak uczynić je użytecznymi.

Opis zdarzenia

Oto, jak elementy pasują do siebie, w fikcyjnym przykładzie.

Monitoring wykonał krok 1. Wszystko później było obserwowalne. Zwróć uwagę, że każde pytanie wynika z poprzedniej odpowiedzi. Nikt nie mógł wcześniej zbudować dashboardu dla „zapytań o kupony do aplikacji mobilnej z dzisiejszej kampanii”. Jeśli chodzi o samą poprawkę, nasz przewodnik po optymalizacji zapytań SQL pokazuje, jak czytać tego rodzaju plan.

Lepsze logi

Dzienniki zwykłego tekstu są przeznaczone dla ludzkich oczu i trudno je przeglądać. Dzienniki strukturalne korzystają z pól, według których maszyna może filtrować:

# Hard to search
ERROR Payment failed for user 42 after 3 tries

# Easy to search
{"level":"error","event":"payment_failed","user_id":"42",
 "attempts":3,"provider":"acme","trace_id":"a1b2c3","duration_ms":2410}

Za pomocą drugiego formularza możesz od razu zapytać „ile awarii na dostawcę w ciągu ostatniej godziny?” Pole trace_id jest szczególnie cenne, ponieważ łączy wiersz dziennika z całym żądaniem, w przypadku każdej usługi, której dotknął.

Nigdy nie zapisuj haseł, tokenów ani numerów kart i dbaj o dane osobowe. Jak wyjaśnia nasz przewodnik, JWT może być ponownie wykorzystany przez każdego, kto odczytuje je z dziennika.

Złote sygnały

Nie wiesz, co monitorować? Książka Google Site Reliability Engineering sugeruje cztery sygnały dla systemów dostępnych dla użytkownika:

Użyj percentyli do określenia opóźnienia, ponieważ średnie ukrywają wolne żądania, jak pokazaliśmy w testowaniu obciążenia a testowaniu warunków skrajnych.

Alerty, którym ludzie ufają

Jeśli alerty pojawiają się cały czas, ludzie przestają je czytać. Dobrzy kierują się kilkoma zasadami:

• Powiadomienie o objawach odczuwanych przez użytkowników. „Błędy przy kasie powyżej 2%” przewyższają „Procesor na poziomie 85%”. Wysoki procesor, który nikomu nie szkodzi, nie powinien nikogo budzić.
• Spraw, aby każdy alert był możliwy do podjęcia. Jeśli nikt nie musi nic robić, ustaw go jako element pulpitu nawigacyjnego lub usuń go.
• Link do elementu Runbook. Powiedz respondentowi, gdzie szukać i czego spróbować.
• Przeglądaj je regularnie. Usuń lub napraw każdy alert, który został zignorowany w zeszłym miesiącu.

Cele poziomu usług

SLO sprawia, że „strona powinna być szybka i niezawodna” w mierzalny cel, np. „99,9% żądań realizacji transakcji zakończy się powodzeniem w ciągu 30 dni”. Pozwala to na wystąpienie około 0,1% błędów, co nazywa się budżetem błędów. Jeśli zostało Ci dużo, możesz wysłać szybciej, a jeśli jest już prawie wyczerpany, możesz priorytetowo potraktować niezawodność. Jest to pomocny sposób na rozstrzygnięcie sporów pomiędzy szybkością dostawy a stabilnością.

OpenTelemetry i narzędzia

OpenTelemetry to niezależny od dostawcy standard typu open source służący do generowania i eksportowania danych telemetrycznych. Jest to projekt fundacji Cloud Native Computing Foundation. Instrumentacja za jego pomocą oznacza, że ​​możesz później zmienić backend bez przepisywania kodu. Nie jest to sam produkt do przechowywania danych ani pulpitu nawigacyjnego, więc łączysz go z jednym:

Sprawdź samodzielnie aktualne funkcje i ceny, ponieważ te produkty często się zmieniają. Koszty mogą szybko rosnąć wraz z ilością danych, dlatego korzystaj z próbkowania i ustalaj limity przechowywania.

Jak zacząć

1. Zacznij od złotych sygnałów dotyczących najważniejszej usługi.
2. Dodaj jeden lub dwa alerty dotyczące objawów zauważonych przez użytkowników.
3. Przełącz na logi strukturalne z identyfikatorem żądania w każdym wierszu.
4. Dodaj śledzenie do swojej głównej ścieżki użytkownika dzięki OpenTelemetry, ponieważ automatyczne oprzyrządowanie może obejmować wiele popularnych platform.
5. Połącz wdrożenia ze swoimi wykresami, aby sprawdzić, czy wydanie z Twojego potoku CI/CD spowodowało zmianę.
6. Wyciągaj wnioski z każdego zdarzenia. Po każdym z nich zapytaj, jakie dane przyspieszyłyby rozwiązanie problemu, i dodaj to.

Mały zespół z jedną usługą nie potrzebuje ogromnej platformy. Podstawowe wskaźniki, dobre logi i kilka alertów mogą wystarczyć. Tracing zarabia na siebie wraz ze wzrostem liczby usług.

Typowe błędy

• Kupowanie narzędzia i nazywanie go obserwowalnością. Wartość wynika z dobrego instrumentarium i sposobu wykorzystania danych.
• Traktowanie trzech filarów jako listy kontrolnej. Oddzielne dane bez możliwości ich połączenia powodują konieczność przeglądania zakładek. Wspólne identyfikatory mają znaczenie.
• Zbieranie wszystkiego. Niefiltrowana telemetria staje się kosztowna i dodaje hałasu.
• Zbyt wiele pulpitów nawigacyjnych. Kilka zaufanych widoków przewyższa setkę, których nikt nie otwiera.
• Myślę, że to zastępuje testowanie. Nadal potrzebujesz testów przed wydaniem. Jednak Emisje Canary dobrze komponują się z tymi sygnałami.

Podsumowanie

Monitorowanie informuje, że coś poszło nie tak, a obserwowalność pozwala dowiedzieć się, dlaczego. Test praktyczny jest prosty: czy w przypadku pojawienia się nieznanego problemu można znaleźć przyczynę bez konieczności wysyłania nowego kodu? Następnym razem, gdy będziesz świadkiem zdarzenia, zapisz każde pytanie, na które nie potrafisz odpowiedzieć. Ta lista to Twój plan działania.

Najczęstsze pytania

Ucz się dalej