Peça ao modelo só o que só ele sabe

Perguntas frequentes

Por que não usar a IA para fazer cálculos de preço, frete ou prazo?

Porque o modelo é probabilístico: acerta com frequência, não com garantia, e o erro raro sai plausível e sem padrão. No exemplo do livro, a tabela de frete estava no prompt e a automação errou o frete em seis de cerca de quatrocentos pedidos do mês, sem que ninguém soubesse quais. Escrever “siga a tabela” não transforma o modelo em planilha. A correção é um fluxo híbrido: o modelo interpreta a mensagem e extrai os dados de entrada, como bairro e número de caixas, e uma função determinística calcula. Dinheiro, quantidade e prazo, regra escrita, ação difícil de desfazer e volume alto são sinais de que a etapa deve ser regra.

O que são guardas determinísticas num fluxo com IA?

São verificações feitas por código, sem modelo, que decidem se um dado pode seguir, como um detector de metais na porta. Elas não melhoram a saída do modelo; barram o erro plausível que sabem reconhecer. No exemplo do livro, a guarda confere se o produto existe no catálogo, se a quantidade está numa faixa plausível e se o número extraído aparece de fato no texto do cliente. Elas ficam em três lugares: antes do modelo, na entrada; depois do modelo, na saída; e antes da ação cara ou irreversível, nunca depois. Uma guarda que barra demais custa uma pergunta ao cliente; uma que deixa passar custa um pedido errado.

O que é limiar de abstenção e calibração na classificação com IA?

Calibração é quando a confiança declarada bate com o acerto medido: entre as vezes em que o sistema diz noventa por cento, ele acerta cerca de nove em dez. Isso só se sabe medindo, por exemplo comparando centenas de mensagens rotuladas à mão com o que o sistema disse. O número de confiança que o modelo escreve no texto é palpite até ser calibrado. O limiar de abstenção é o ponto abaixo do qual a decisão vai para uma pessoa, a quinta caixa do “não sei”. A escolha depende do custo de cada erro e de cada minuto de leitura humana, envelhece e precisa ser remedida. Categorias caras ganham limiar próprio, bem mais baixo.