A fatura e o registro
Observabilidade de sistemas de IA: log, métrica e rastro, o identificador de execução que amarra tudo e o custo por tarefa que a fatura do mês não mostra.
Resumo da aula
- Log diz o que aconteceu, métrica diz quanto, trace diz por onde.
- Com um identificador de execução em todo evento, os três viram um só registro, e LLMOps, AgentOps e FinOps deixam de ser três ferramentas para virar três perguntas.
- O texto da pergunta e da resposta fica fora da linha por padrão, porque mascarar é só rede de proteção.
Neste artigo
- A fatura com o triplo do valor
- O laço sem teto
- Observabilidade: a caixa-preta aberta todo dia
- Três sinais, três perguntas
- A comanda: o identificador de execução
- O que fica fora da linha, de propósito
- Três olhares sobre o mesmo registro
- O painel de custo por tarefa
- O preço do token vezes o comportamento
- A média que esconde a cauda
- Latência e o painel que dá verde sem olhar
- Quanto custa observar, e quem vê
O artigo é lido por partes. Use os botões abaixo para avançar — a aula em vídeo e o material de apoio ficam no curso, e o método completo, no livro.
Perguntas frequentes
O que é observabilidade em sistemas de IA?
É a capacidade de responder, olhando de fora, o que o sistema está fazendo por dentro. Ela se apoia em três sinais. O log responde o que aconteceu: uma linha por evento, de preferência estruturada, com campos fixos que se somam e se filtram. A métrica responde quanto e com que frequência, como chamadas por minuto, tokens por dia ou taxa de recusa, e é ótima para alarme. O trace, ou rastro, responde por onde passou uma tarefa, dividido em spans, como recuperar trechos, chamar o modelo e verificar a citação. Diferente da caixa-preta de avião, a observabilidade boa é aberta todo dia, antes do acidente.
Como descobrir por que a conta da API de IA aumentou?
Medindo o custo por tarefa, não a fatura do mês. A fatura diz quanto você gastou; só o registro diz com o quê. Para isso, cada evento precisa carregar um identificador de execução, como a comanda de um restaurante, propagado por toda chamada de modelo, ferramenta e pedido de aprovação. No caso do livro, a fatura triplicou com o mesmo número de usuários e perguntas: uma mudança fazia o sistema chamar o modelo de novo a cada citação recusada, sem teto, e as perguntas difíceis davam várias voltas. O custo de um agente é o preço do token vezes o comportamento. Olhe a tarefa mais cara do dia, as chamadas por tarefa e o p95.
O que registrar e o que deixar fora dos logs de um assistente de IA?
Registre quem fez o quê, em quê, com que resultado e dentro de qual execução, com horário e fuso. Deixe fora, por padrão, o texto do prompt e da resposta, porque é ali que moram dado pessoal, sigilo profissional e segredo comercial. Mascarar o que parece senha ajuda, mas só nos formatos conhecidos: mascarar é rede de proteção, e o certo é o segredo nunca chegar ao log. O livro sugere guardar todos os eventos de custo e de erro e só uma fração dos traces completos, com retenção curta para conteúdo e longa para metadados. Plataformas que gravam prompts inteiros viram base de dados pessoais, com tudo o que a LGPD exige.
Ir direto para outra aula
- 1 A segunda onda
- 2 Do chatbot ao sistema que executa
- 3 Tudo o que não é o modelo
- 4 O contrato entre máquinas
- 5 O que a IA precisa saber
- 6 O modelo nunca aperta o botão
- 7 Achar pelo sentido
- 8 Prova com consulta
- 9 O que mora entre os documentos
- 10 A fonte vencida e o teste que sabe falhar
- 11 O agente e quem diz que ele terminou
- 12 Um processo que cabe num desenho
- 13 Peça ao modelo só o que só ele sabe
- 14 Dividir o trabalho, dividir o erro
- 15 Aprovar não é olhar
- 16 Um jeito de desfazer
- 17 Até onde o erro alcança
- 18 Quem acorda de madrugada
- 19 A fatura e o registro
- 20 Quando ninguém estiver calmo
- 21 Automação que erra igual e avisa
- 22 Todo texto pode soar como ordem
- 23 Um agente sem nome próprio
- 24 O dado que nunca precisou chegar
- 25 O sistema inteiro