Tudo o que não é o modelo

Perguntas frequentes

Quem é responsável quando um assistente de IA comete um erro?

Sempre uma pessoa com nome, porque só pessoas podem ser cobradas. Modelos, agentes e automações podem executar etapas, mas não respondem por elas, e isso não é uma limitação técnica que o próximo modelo resolverá. O livro adapta a matriz RACI para uma matriz de responsabilidade com quatro colunas: executa, aprova, responde e é informado. Três regras a tornam útil: toda linha tem exatamente um responsável, que é uma pessoa; máquina pode executar ou ser informada, nunca aprovar nem responder; e, nos pontos de consequência, quem executa não é quem aprova.

O que é ponto de consequência num sistema com IA?

É a etapa depois da qual um erro deixa de ser interno e alcança alguém de fora, ou fica difícil de desfazer, como enviar, pagar, publicar, apagar ou decidir sobre a vida de alguém. O desenho do sistema decorre dele: tudo o que vem antes pode ser rápido e automático, porque o erro ainda é barato, e imediatamente antes fica a aprovação, com uma pessoa que sabe o que está aprovando. No caso do livro, a triagem de um escritório mandou resposta cordial a quem litigava contra um cliente da casa, porque a redação acontecia antes da checagem de conflito e ninguém aprovava o envio.

O que é fronteira de confiança e por que a saída do modelo deve ser conferida?

Fronteira de confiança é a linha, num diagrama, em que o dado muda de nível de confiança. Fora dela fica o que você não controla: a mensagem de quem escreve, a página da internet, a resposta de um serviço externo e também a saída do próprio modelo. Dentro fica o que o sistema trata como verdadeiro, como o banco de clientes e as políticas. Tudo o que cruza para dentro é conferido na travessia. O modelo é um componente seu, mas com comportamento que você não garante, e por isso a saída dele é validada contra um contrato antes de virar registro, e o rascunho passa por uma pessoa antes de sair.