Quatro ferramentas de inteligência artificial receberam os mesmos autos e o mesmo comando. As respostas foram identificadas como IA1, IA2, IA3 e IA4 e avaliadas sem que eu soubesse qual ferramenta havia produzido cada uma.
Ainda assim, as análises foram materialmente diferentes.
1. Quatro IAs, os mesmos autos e uma pergunta
A comparação considerou a fidelidade aos autos, a compreensão da fase processual, a distinção entre alegação e prova, a precisão jurídica, o grau de confiança das conclusões e a utilidade prática das recomendações.
A identificação posterior das ferramentas reduziu a influência imediata da marca na avaliação. Isso não significa, porém, que o teste tenha eliminado todos os vieses.
Também existe uma limitação metodológica importante:
Os documentos e o comando foram os mesmos, mas isso não significa que todas as condições técnicas fossem idênticas. Modelo, versão, mecanismos de leitura dos arquivos e outros recursos não foram integralmente controlados. Por isso, o teste compara as respostas obtidas, sem pretender isolar a causa das diferenças.
Além disso, a rodada envolveu um único processo, uma execução por ferramenta e um avaliador. Não houve repetição, painel independente ou avaliação estatística. Portanto, o teste não constitui benchmark científico e seus resultados não podem ser generalizados.
A pergunta examinada é mais restrita: quando diferentes IAs analisam os mesmos autos e apresentam respostas distintas, essa divergência constitui necessariamente erro ou ruído?
2. As diferenças foram além do estilo
As respostas variaram na extensão, na organização e na profundidade. A divergência, porém, não ficou restrita à forma de apresentação.
Houve diferenças na compreensão da fase processual, na conferência dos documentos, na confrontação de cálculos com os autos e na distinção entre fatos comprovados e inferências. Algumas conclusões foram apresentadas com segurança maior do que a documentação permitia.
| Critério | Diferenças observadas |
|---|---|
| Fase processual | Uma execução tratou como futuro um ato já realizado |
| Documentos | Houve omissão de conferência e atribuição de conteúdo inexistente |
| Cálculos e pagamentos | Variou a profundidade da confrontação com os autos |
| Prova e inferência | Algumas respostas apresentaram como certo o que não estava comprovado |
| Confiança | Houve respostas excessivamente seguras e outras mais cautelosas |
O quadro demonstra que as diferenças alcançaram aspectos relevantes da análise jurídica. Nesta rodada, ferramentas diferentes produziram respostas materialmente diferentes. O teste, isoladamente, não permite afirmar por que isso ocorreu.
3. Variabilidade, erro e ruído são coisas diferentes
Se duas respostas são diferentes, existe variabilidade. Essa é uma constatação descritiva.
Para classificar uma afirmação como errada, é necessário confrontá-la com um critério externo: os documentos, a sequência processual, a legislação aplicável, os limites do comando ou a finalidade da tarefa.
O conceito de ruído exige uma análise adicional. Kahneman, Sibony e Sunstein tratam o ruído como uma variabilidade indesejada em julgamentos nos quais havia uma expectativa justificável de consistência. A apresentação da obra pela Harvard Kennedy School oferece uma síntese acessível do conceito.
Essa formulação foi desenvolvida principalmente para julgamentos humanos. Sua aplicação às respostas de inteligência artificial exige cautela, especialmente quando são comparadas ferramentas com características técnicas diferentes.
A divergência, portanto, não é automaticamente erro nem ruído. É preciso verificar o que variou, qual era a tarefa e se havia motivo para esperar consistência naquele ponto específico.
4. Onde a divergência pode ser legítima — e onde não é
Um processo judicial pode admitir mais de uma interpretação juridicamente defensável. Duas análises podem identificar os mesmos elementos e atribuir pesos distintos às provas, aos riscos ou às teses possíveis. Essa diferença pode representar uma escolha analítica legítima.
O mesmo não ocorre quando a divergência alcança fatos verificáveis.
Um ato processual foi realizado ou não. Um documento está nos autos ou não. Uma informação consta da fonte ou não. Determinada conclusão possui sustentação documental ou depende de uma inferência ainda não demonstrada.
Nesses pontos, a comparação não depende apenas de preferência interpretativa. Ela exige conferência externa.
Uma resposta pode divergir legitimamente na interpretação jurídica e, ao mesmo tempo, falhar ao atribuir a um documento conteúdo que ele não possui. Por isso, a análise precisa separar divergência interpretativa de inconsistência factual ou documental.
5. O problema operacional: como decidir em qual resposta confiar?
Sem critérios previamente definidos, o profissional pode acabar escolhendo a resposta mais longa, mais segura ou mais próxima da conclusão que já esperava encontrar.
A fluidez do texto, isoladamente, não permitia saber qual análise merecia confiança.
A comparação somente ganhou utilidade quando as respostas foram confrontadas com os autos e com a finalidade da tarefa. Foi necessário verificar se os documentos relevantes haviam sido considerados, se as afirmações possuíam sustentação, se fatos e inferências estavam separados e se as recomendações eram compatíveis com a fase processual.
Esse controle não pode ser substituído por uma nova leitura superficial da resposta.
Revisão humana não significa apenas ler novamente o texto produzido. Significa conferir as premissas utilizadas pela ferramenta.
Quanto mais concreta for a tarefa, mais claros devem ser os pontos de verificação. Antes de utilizar o resultado, o profissional precisa saber quais documentos deveriam ter sido examinados, quais perguntas precisavam ser respondidas e quais conclusões dependiam de confirmação.
A pergunta operacional não é apenas qual resposta parece melhor. É qual delas permanece sustentável depois do confronto com critérios externos.
6. O que este teste permite — e não permite — concluir
O teste permite afirmar que, naquela rodada, quatro IAs produziram análises materialmente diferentes diante dos mesmos autos e do mesmo comando. As diferenças alcançaram aspectos formais, interpretativos, factuais e documentais.
Ele não permite concluir que as IAs sempre discordam, que uma ferramenta seja universalmente superior ou que toda divergência constitua erro ou ruído. Também não permite identificar a causa técnica das diferenças.
O NIST, em seu perfil de gestão de riscos para inteligência artificial generativa, recomenda que o contexto de uso, as premissas e limitações sejam documentados e que as limitações de generalização para além das condições avaliadas sejam registradas. Essa orientação ajuda a delimitar o alcance do teste, mas não valida diretamente seus resultados jurídicos.
O preprint Same Input, Different Scores também encontrou diferenças entre modelos diante de entradas idênticas. O estudo, contudo, examina LLMs utilizadas como avaliadoras, e não a análise de processos judiciais. Por isso, serve apenas como paralelo em outro contexto.
Uma investigação mais ampla exigiria múltiplas execuções, maior controle técnico, diferentes processos e mais de um avaliador. Até lá, a conclusão deve permanecer restrita ao que foi efetivamente observado.
Relatórios da rodada
Consulte a página do estudo experimental, o relatório executivo anonimizado e o relatório técnico completo anonimizado.
Se duas IAs discordarem sobre os mesmos autos, qual critério você utilizará para decidir em qual resposta confiar?
Este artigo integra a linha IA Jurídica Operacional. Veja também: IA jurídica e revisão humana: o que conferir antes de usar uma resposta em uma petição.
Deixe um comentário