O painel está verde, mas os clientes reclamam que o checkout está quebrado. Se você já esteve nesta posição, já entende a diferença entre monitoramento e observabilidade. Seu monitoramento verificou apenas o que você pensou verificar, e essa falha é algo novo.

Este guia explica ambas as ideias sem a linguagem de marketing e segue um incidente fictício, desde o alerta até a causa raiz. Os logs, rastreamento e números são inventados para ilustrar o processo. Você também deve saber que fornecedores e profissionais traçam essa linha de maneira diferente, e alguns consideram isso, em parte, uma distinção de marketing. Focamos na parte prática.

A resposta curta

Monitoramento é uma atividade. Você decide antecipadamente o que observar, como CPU, taxa de erros ou espaço em disco, e define limites que acionam alertas. Ele responde: “O que me preocupava estava acontecendo?”

Observabilidade é uma propriedade do seu sistema. O termo vem da teoria de controle, onde descreve quão bem você pode inferir o estado interno de um sistema a partir de suas saídas externas. Na prática, responde: “O que está acontecendo e por quê, inclusive em relação a problemas que nunca previ?”

Pense em um carro. As luzes de advertência no painel estão monitorando. Eles cobrem um conjunto de problemas conhecidos. A porta de diagnóstico completa de um mecânico, que permite que alguém faça novas perguntas sobre qualquer parte do motor, está mais próxima da observabilidade.

Monitoramento versus observabilidade lado a lado

Esta não é uma escolha entre os dois. Você ainda precisa de alertas para avisar quando procurar.

Por que o monitoramento por si só não é suficiente

Com um aplicativo em um servidor, a lista de coisas que podem dar errado é bastante curta, então você pode observar todas elas. Um sistema moderno pode ter dezenas de serviços, filas e APIs de terceiros, além de contêineres que vão e vêm. As falhas tornam-se combinações que ninguém previu: uma região, um tipo de cliente, uma versão específica do aplicativo e uma única dependência lenta.

Você não pode escrever um painel antecipadamente para uma pergunta na qual não pensou. Você precisa de dados que permitam perguntar depois.

Logs, métricas e rastreamentos

Esses três tipos de telemetria são frequentemente chamados de pilares da observabilidade. Cada um responde a uma pergunta diferente:

Métricas

http_requests_total{service="checkout", status="500"} 1832
http_request_duration_seconds{service="checkout", quantile="0.95"} 2.4

As métricas são baratas para armazenar e rápidas para consultar, o que as torna ideais para painéis e alertas. Tenha cuidado com rótulos de alta cardinalidade, como ID de usuário, em muitos sistemas métricos, pois eles podem aumentar drasticamente os custos.

Vestígios

Um rastreamento segue uma solicitação entre serviços. Cada etapa é um período com um horário de início e uma duração:

POST /checkout                      2410 ms
├─ auth-service: verify token         18 ms
├─ cart-service: load cart            42 ms
├─ pricing-service: calculate       2290 ms   <-- slow
│  └─ SELECT coupons ...            2265 ms
└─ payment-service: not reached

Um rastreamento torna óbvia uma etapa lenta, o que é muito difícil de ver em logs separados de serviços separados.

Registros

Os registros fornecem detalhes do que aconteceu em um determinado momento. Veremos como torná-los úteis em um momento.

Um passo a passo do incidente

Veja como as peças se encaixam, em um exemplo fictício.

O monitoramento tratou da etapa 1. Tudo depois disso foi observabilidade. Observe como cada pergunta surgiu da resposta anterior. Ninguém poderia ter criado um painel antecipadamente para “consulta de cupons de aplicativos móveis da campanha de hoje”. Para a correção em si, nosso guia para otimização de consultas SQL mostra como ler esse tipo de plano.

Registros melhores

Os registros de texto simples são feitos para olhos humanos e são difíceis de consultar. Logs estruturados usam campos que uma máquina pode filtrar:

# Hard to search
ERROR Payment failed for user 42 after 3 tries

# Easy to search
{"level":"error","event":"payment_failed","user_id":"42",
 "attempts":3,"provider":"acme","trace_id":"a1b2c3","duration_ms":2410}

Com o segundo formulário, você pode perguntar imediatamente “quantas falhas por provedor na última hora?” O campo trace_id é especialmente valioso, pois vincula uma linha de log a toda a solicitação, em todos os serviços tocados.

Nunca registre senhas, tokens ou números de cartão e tome cuidado com os dados pessoais. Como explica nosso guia, JWTs podem ser reutilizados por qualquer pessoa que os leia em um log.

Os sinais dourados

Não sabe o que monitorar? O livro Site Reliability Engineering do Google sugere quatro sinais para sistemas voltados para o usuário:

Use percentis para latência, já que as médias ocultam solicitações lentas, como mostramos em teste de carga versus teste de estresse.

Alertas em que as pessoas confiam

Se os alertas dispararem o tempo todo, as pessoas param de lê-los. Os bons seguem algumas regras:

• Alerta sobre sintomas que os usuários sentem. “Erros de checkout acima de 2%” superam “CPU em 85%”. CPU alta que não prejudica ninguém não deve acordar ninguém.
• Torne cada alerta acionável. Se ninguém precisar fazer nada, torne-o um item do painel ou remova-o.
• Link para um runbook. Diga ao respondente onde procurar e o que tentar.
• Revise-os regularmente. Exclua ou corrija qualquer alerta que tenha sido ignorado no mês passado.

Objetivos de nível de serviço

Um SLO transforma “o site deve ser rápido e confiável” em uma meta mensurável, como “99,9% das solicitações de checkout são bem-sucedidas em 30 dias”. Isso permite cerca de 0,1% de falhas, o que é conhecido como orçamento de erro. Se sobrar bastante, você poderá enviar mais rápido e, se estiver quase esgotado, poderá priorizar a confiabilidade. É uma forma útil de resolver discussões entre velocidade de entrega e estabilidade.

OpenTelemetria e ferramentas

OpenTelemetry é um padrão de código aberto e independente de fornecedor para geração e exportação de telemetria. É um projeto da Cloud Native Computing Foundation. Instrumentar com ele significa que você pode alterar seu back-end posteriormente, sem reescrever seu código. Não é um produto de armazenamento ou painel em si, então você pode combiná-lo com um:

Verifique você mesmo os recursos e preços atuais, pois esses produtos mudam com frequência. Os custos podem aumentar rapidamente com o volume de dados, portanto, use amostragem e defina limites de retenção.

Como começar

1. Comece com os sinais dourados para seu serviço mais importante.
2. Adicione um ou dois alertas sobre sintomas percebidos pelos usuários.
3. Mude para registros estruturados com um ID de solicitação em cada linha.
4. Adicione rastreamento à jornada principal do usuário com OpenTelemetry, pois a instrumentação automática pode abranger muitas estruturas comuns.
5. Vincule implantações aos seus gráficos para que você possa ver se uma versão do seu pipeline de CI/CD causou uma alteração.
6. Aprenda com cada incidente. Depois de cada um, pergunte quais dados teriam tornado a solução mais rápida e adicione-os.

Uma equipe pequena com um serviço não precisa de uma plataforma enorme. Métricas básicas, bons registros e alguns alertas podem ser suficientes. O rastreamento ganha seu sustento à medida que o número de serviços cresce.

Erros comuns

• Comprar uma ferramenta e chamá-la de observabilidade. O valor vem de uma boa instrumentação e de como você usa os dados.
• Tratar três pilares como uma lista de verificação. Separar dados sem nenhuma maneira de vinculá-los deixa você procurando por guias. IDs compartilhados são importantes.
• Coletando tudo. A telemetria não filtrada fica cara e adiciona ruído.
• Muitos painéis. Algumas visualizações confiáveis ​​superam cem que ninguém abre.
• Pensando que isso substitui os testes. Você ainda precisa de testes antes do lançamento. No entanto, lançamentos Canary combinam bem com esses sinais.

Considerações finais

O monitoramento informa que algo deu errado e a observabilidade fornece os meios para descobrir o porquê. O teste prático é simples: quando surge um problema desconhecido, você consegue encontrar a causa sem enviar um novo código? Da próxima vez que você estiver em um incidente, anote todas as perguntas que não conseguiu responder. Essa lista é o seu roteiro.

Perguntas frequentes

Continue aprendendo