Prova com consulta

Perguntas frequentes

O que é RAG e por que ele ainda erra mesmo citando fontes?

RAG, geração aumentada por recuperação, é a arquitetura em que o sistema busca trechos numa base e os entrega ao modelo junto com a pergunta, para que ele responda com base neles e cite de onde tirou cada afirmação. Funciona em três etapas: indexar, recuperar e gerar. Ele reduz a invenção, mas não a elimina, porque achar o trecho certo e usá-lo bem são eventos diferentes. O livro agrupa cinco modos de falha: a base não tem a resposta, a busca não trouxe o trecho certo, o modelo leu mal, o trecho está vencido ou o documento contém ordens. Citar a fonte não torna a frase verdadeira; torna o erro encontrável.

Por que o filtro de permissão deve vir antes da busca no RAG?

Porque filtrar depois expõe o que deveria ficar escondido. No caso do livro, um assistente de pareceres respondeu certo, mas citou um parecer de outro cliente a um associado sem acesso àquela pasta: a restrição existia na tela, não no índice. Buscar no índice inteiro e remover depois parece igual, mas não é: um erro no filtro final expõe tudo, a contagem de resultados revela que existe algo sobre o assunto, a ordem denuncia o que foi retirado e, se o modelo recebeu os trechos antes do filtro, o conteúdo proibido já entrou no contexto. Cada trecho precisa carregar o acervo a que pertence.

Como verificar se a citação feita por uma IA é verdadeira?

Com um verificador de citação escrito em código, sem inteligência artificial, que confere a resposta antes de ela sair. No laboratório do livro, ele checa se o trecho citado existe, se o acervo é permitido para quem perguntou, se o modelo de fato recebeu aquele trecho nesta pergunta, se a citação tem tamanho mínimo, se a frase está lá literalmente e se não é ela mesma uma instrução embutida. Uma falha basta para recusar a resposta inteira. A paráfrase é recusada mesmo quando está certa, porque não há como conferi-la por código, e aceitar citação parecida deixaria passar justamente a paráfrase que inverte o sentido.