Como a IA generativa funciona

Perguntas frequentes

Por que a IA erra números, datas e citações com tanta segurança?

Porque um modelo de linguagem não consulta uma tabela quando responde. Ele leu uma quantidade enorme de texto, aprendeu padrões e compõe a resposta palavra por palavra, escolhendo a continuação mais plausível. Isso o torna ótimo para reescrever, resumir, traduzir, explicar e organizar. E frágil em número exato, data, citação literal, contagem, fato recente e assunto raro ou local. A resposta soa certa porque parecer certa é exatamente o que ele foi treinado para fazer. Plausível não é verdadeiro. Novas versões melhoram a taxa de acerto, mas o mecanismo continua o mesmo.

O que é janela de contexto e por que a IA esquece o começo da conversa?

A janela de contexto é quanto o modelo consegue ter na mesa de uma vez: a sua pergunta, o histórico da conversa e os arquivos anexados. Tudo é medido em tokens, pedaços de texto entre a sílaba e a palavra, e é em tokens que o uso é cobrado e limitado. Quando a mesa lota, o que entrou primeiro sai. Não é falta de atenção, é a mesa cheia. Por isso, numa conversa muito longa, vale abrir uma nova e colar um resumo do que importa. Anexar arquivo enorme para uma pergunta pequena também deixa tudo mais lento e caro.

Como saber se posso confiar em uma resposta da IA antes de usar?

Passe a resposta por três perguntas rápidas. É composição ou consulta? Se traz número, data, nome próprio ou citação, é consulta, e consulta pede uma fonte; sem ela, trate como palpite bem-vestido. É recente? Se o assunto mudou há pouco, o modelo pode estar respondendo com o mundo de ontem, então ele vai à web ou você vai. É raro? Tema muito específico, local ou de nicho tem menos padrão para o modelo se apoiar, e é onde ele mais inventa. Para somar, contar ou buscar registro exato, peça que ele execute a conta com planilha ou código.