Quando ninguém estiver calmo

Perguntas frequentes

Como configurar retentativas em chamadas a APIs de IA sem piorar a falha?

Repita só a falha temporária, numa camada só, com espera exponencial e sorteio. Códigos 429 e 5xx, queda de rede e tempo esgotado costumam ser passageiros; 400 e 401 são permanentes e não melhoram na segunda vez. A espera dobra a cada tentativa e tem um valor sorteado, para que muitos clientes não voltem juntos. No caso do livro, o código tentava três vezes e a biblioteca do provedor também, e cada pergunta virou nove chamadas contra um serviço já caído. Quando a falha dura muito, entra o disjuntor: depois de algumas falhas seguidas, ele para de deixar passar, espera e testa antes de religar.

O que não pode ir para o modelo de IA reserva (fallback)?

Tudo o que exige um contrato ou um comportamento que o reserva não tem, porque todo reserva é um lugar para onde os dados vão. No caso do livro, ao trocar às pressas de provedor, perguntas com trechos de pareceres sigilosos foram para um fornecedor sem contrato. O livro lista cinco cuidados: dados com restrição de destino, como sigilo profissional, saúde e dados pessoais; tarefas cujo contrato de saída o reserva não cumpre; ações com consequência, que exigem a mesma cadeia de aprovação; decisões que precisam ser reproduzidas; e volume que o reserva não aguenta pagar. A solução é classificar o pedido antes de rotear, com uma lista de modelos por classe.

Qual a diferença entre modelo de pesos abertos, código aberto e acesso por API?

Pesos abertos significa que os números do modelo treinado podem ser baixados e rodados onde você quiser, como uma receita publicada, sem os dados e o código de treino. Código aberto, no sentido estrito, exige licença reconhecida pela OSI, com liberdade de usar, estudar, modificar e redistribuir, e muitos modelos ditos abertos têm licenças próprias com limites. Acesso por API é comer no restaurante: o modelo roda no servidor do fornecedor, e os dados vão até ele. A mesma família pode ser duas decisões: os pesos podem rodar na sua rede enquanto a API do mesmo fornecedor processa dados em outro país. A licença decide o que se pode fazer.