Aprovar não é olhar
Aprovação humana como engenharia, a chave que pede não pode aprovar, níveis de autonomia, reversibilidade, botão de parada e revisão sem culpados depois de uma madrugada ruim.
Resumo da aula
- Aprovação humana é engenharia. Ela fica só nos pontos de consequência e para o fluxo sem perder o trabalho.
- Mostra o que vai acontecer e o que mudou, aparece na frequência que a atenção aguenta e é dada por alguém que o sistema não consegue imitar.
- Quem pede não pode ter a chave que aprova, e isso se garante por mecanismo e se prova com teste.
Neste artigo
- Human-in-the-loop é uma peça de engenharia
- O lugar certo: o ponto de consequência
- A coisa certa: a tela que informa
- Fadiga de aprovação
- Os remédios e as seis recusas
- A pessoa certa: a chave que pede não pode aprovar
- Duas e catorze da madrugada
- Reversível, compensável, irreversível
- Autonomia é uma escada, não um interruptor
- Promoção com evidência, rebaixamento automático
- O botão de parada
- Conter antes de entender, e a revisão sem culpados
O artigo é lido por partes. Use os botões abaixo para avançar — a aula em vídeo e o material de apoio ficam no curso, e o método completo, no livro.
Perguntas frequentes
O que é fadiga de aprovação em sistemas com IA?
É quando aprovar vira reflexo e a pessoa deixa de ler, porque quase todo pedido está certo. No exemplo do livro, uma sócia de escritório contou duzentos e doze cliques de aprovação numa semana, com tempo médio de quatro segundos, insuficiente para ler um e-mail de três parágrafos. Três sinais indicam fadiga: tempo de decisão curto demais para o tamanho do que é mostrado, taxa de recusa perto de zero por semanas e erros descobertos depois em itens aprovados. Os remédios vão de tirar aprovação do que não tem consequência a mostrar só o que mudou em relação ao modelo, agrupar com decisão item a item, separar por risco e promover com evidência.
Por que o agente de IA não pode aprovar o próprio pedido?
Porque, se o agente tiver credencial para passar pela porta da aprovação, ele pode aprovar o que pediu, por erro de programação ou por instrução maliciosa escondida num documento, e a aprovação fica registrada sem ter sido dada por ninguém. É a segregação de funções transformada em mecanismo. Duas portas podem parecer igualmente protegidas porque exigem autenticação; o problema só aparece quando se pergunta quem consegue passar em cada uma. A regra de desenho é que a chave que pede não pode aprovar: a chave de serviço pede, aprovar exige a sessão autenticada de uma pessoa, e um teste tenta aprovar com a chave e só passa se for recusado.
Como definir o nível de autonomia de um agente de IA?
Por tipo de ação, numa escada de cinco degraus: observa, sugere, prepara, executa em lote depois de um sim e executa com limites, com revisão por amostragem. O primeiro passo é classificar a ação como reversível, compensável ou irreversível, e escrever como ela se desfaz. A promoção depende de critério combinado antes, como tempo e volume no nível atual, taxa de erro abaixo de um teto, reversibilidade no nível seguinte e parada testada. O rebaixamento é automático diante de incidente, erro acima do teto ou mudança de modelo, instrução, ferramenta ou fonte de dados. O irreversível nunca passa do lote liberado por uma pessoa, e todo sistema precisa de botão de parada testado.
Ir direto para outra aula
- 1 A segunda onda
- 2 Do chatbot ao sistema que executa
- 3 Tudo o que não é o modelo
- 4 O contrato entre máquinas
- 5 O que a IA precisa saber
- 6 O modelo nunca aperta o botão
- 7 Achar pelo sentido
- 8 Prova com consulta
- 9 O que mora entre os documentos
- 10 A fonte vencida e o teste que sabe falhar
- 11 O agente e quem diz que ele terminou
- 12 Um processo que cabe num desenho
- 13 Peça ao modelo só o que só ele sabe
- 14 Dividir o trabalho, dividir o erro
- 15 Aprovar não é olhar
- 16 Um jeito de desfazer
- 17 Até onde o erro alcança
- 18 Quem acorda de madrugada
- 19 A fatura e o registro
- 20 Quando ninguém estiver calmo
- 21 Automação que erra igual e avisa
- 22 Todo texto pode soar como ordem
- 23 Um agente sem nome próprio
- 24 O dado que nunca precisou chegar
- 25 O sistema inteiro