A fonte vencida e o teste que sabe falhar
Proveniência, dono e ciclo de atualização para o acervo não responder vencido; conjunto de ouro, modelo juiz e testes que provam que sabem falhar para medir se o sistema funciona.
Resumo da aula
- Documento sem data, sem versão e sem dono responde vencido com a mesma segurança do vigente, e o verificador de citação não vê isso, porque confere a forma.
- A ficha de proveniência, a separação entre data do documento e data de indexação, o exame das três doenças do acervo e um dono por área com rotina mensal mantêm o acervo honesto.
- Substituir não é apagar, e autenticidade não é veracidade.
Neste artigo
- Um documento sem data responde vencido com segurança
- O problema é do acervo, e o remédio é proveniência
- A data que parece resolver e não resolve
- Três doenças do acervo, e um selo que não diz a verdade
- Todo acervo tem dono
- As respostas mais acolhedoras que ninguém mediu
- Avaliação e o conjunto de ouro
- O modelo juiz e os seus vieses
- O teste que passava dos dois lados
- O portão que dá verde sem olhar
- Antes de mudar e depois de ligar
O artigo é lido por partes. Use os botões abaixo para avançar — a aula em vídeo e o material de apoio ficam no curso, e o método completo, no livro.
Perguntas frequentes
Por que a IA responde com informação desatualizada mesmo citando a fonte certa?
Porque o acervo guarda versões antigas sem dizer que foram substituídas, e o verificador de citação confere a forma, não a validade. No exemplo do livro, havia duas versões de um calendário de vacinação; a busca pôs a antiga em primeiro lugar, e a resposta saiu com citação literal e errada. O remédio é proveniência: uma ficha presa a cada documento, herdada por cada trecho, com campos como versão, situação, o que ele substitui, dono e data de revisão. Outra armadilha é mostrar como data a de entrada no índice: um documento velho indexado ontem passa por novo. Substituir não é apagar, mas o substituído sai da busca padrão.
O que é um conjunto de ouro (golden set) para avaliar um assistente de IA?
É um conjunto fixo de perguntas com a resposta certa escrita antes, por alguém que conhece o assunto, como uma prova com gabarito. É o coração de uma avaliação, que tem quatro partes: casos fixos, critério de aprovação por caso, forma repetível de rodar e comparação com a versão anterior. Devem entrar perguntas frequentes reais, casos de borda, perguntas que devem ser recusadas, perguntas hostis e regressões. Todo erro real vira caso. O conjunto fica versionado, porque a pergunta sobre se o sistema melhorou só tem resposta se ele for o mesmo nas duas medições, e roda antes de cada mudança de instrução, modelo, acervo ou parâmetro de busca.
Usar outro modelo de IA como juiz para avaliar respostas é confiável?
Em parte. Zheng e colegas mostraram, em 2023, que juízes fortes concordam com preferências humanas em nível comparável ao acordo entre duas pessoas, mas documentaram três vieses: de posição, de verbosidade, que favorece a resposta mais longa, e de autofavorecimento. Wang e colegas mostraram, em 2024, que só trocar a ordem das respostas pode inverter o veredito. A correção é separar critérios: o que tem resposta certa, como uma data, se confere contra o gabarito, por código ou por pessoa; o juiz fica só com o que é subjetivo, como tom e clareza, com rubrica explícita. E o próprio conjunto de avaliação precisa provar que sabe falhar.
Ir direto para outra aula
- 1 A segunda onda
- 2 Do chatbot ao sistema que executa
- 3 Tudo o que não é o modelo
- 4 O contrato entre máquinas
- 5 O que a IA precisa saber
- 6 O modelo nunca aperta o botão
- 7 Achar pelo sentido
- 8 Prova com consulta
- 9 O que mora entre os documentos
- 10 A fonte vencida e o teste que sabe falhar
- 11 O agente e quem diz que ele terminou
- 12 Um processo que cabe num desenho
- 13 Peça ao modelo só o que só ele sabe
- 14 Dividir o trabalho, dividir o erro
- 15 Aprovar não é olhar
- 16 Um jeito de desfazer
- 17 Até onde o erro alcança
- 18 Quem acorda de madrugada
- 19 A fatura e o registro
- 20 Quando ninguém estiver calmo
- 21 Automação que erra igual e avisa
- 22 Todo texto pode soar como ordem
- 23 Um agente sem nome próprio
- 24 O dado que nunca precisou chegar
- 25 O sistema inteiro