ESTUDO EXPERIMENTAL
Benchmark humano e quatro execuções de IA
Uma rodada experimental sobre corpus processual histórico e anonimizado proveniente de caso real.
O objetivo foi observar como quatro condições de inteligência artificial reconstruíam os mesmos autos, separavam prova de inferência, identificavam riscos e estruturavam uma resposta jurídica, usando como referência comparativa uma peça humana preexistente.
O estudo tem finalidade técnica e metodológica. Seus resultados são restritos a esta rodada e não representam validação do sistema, promessa de desempenho ou afirmação de superioridade geral em relação ao trabalho humano.
Como o teste foi estruturado
As condições foram avaliadas separadamente antes da comparação final. A peça humana não funcionou como gabarito e a decisão judicial posterior foi examinada em bloco autônomo, apenas como evidência ex post sobre o fundamento efetivamente adotado.
Mesmo corpus histórico
As execuções de IA receberam corpus processual com corte histórico anterior ao benchmark humano e sem a decisão judicial posterior.
Quatro execuções independentes
Cada execução foi auditada individualmente quanto a fidelidade documental, cliente e polo, fase, medida, distinção entre prova e inferência, omissões, riscos, estratégia e integridade entre análise e peça.
Benchmark humano preexistente
A impugnação humana foi produzida no contexto real do processo e avaliada apenas com base no que estava disponível no momento em que foi redigida. Ela não foi tratada como padrão-ouro.
Auditoria cega e análise ex post separada
Somente depois das auditorias individuais foram cruzados os resultados. A decisão posterior serviu para identificar o fundamento usado pelo juízo, sem retroalimentar a avaliação ex ante.
O que apareceu na rodada
O resultado mais útil não foi um ranking absoluto, mas a diferença de comportamento entre as condições e entre IA e benchmark humano.
Os erros não foram homogêneos
Uma execução presumiu o cliente e produziu peça para o polo oposto. Outra reconheceu incerteza sobre um fato processual na análise, mas transformou essa incerteza em certeza na minuta. Uma condição com boa disciplina probatória deixou de registrar um fato cronológico material.
Humano e IA encontraram coisas diferentes
O benchmark humano deu maior centralidade ao problema processual que posteriormente orientou a decisão. A condição MVP recuperou fatos adversos e executivos não explorados no benchmark, estruturou o teste adversarial e recomendou prova positiva de autonomia patrimonial. Outra execução foi a única a detectar uma divergência interdocumental de endereço.
A decisão posterior não foi usada como gabarito
A proximidade do benchmark humano com o fundamento posteriormente adotado pelo juízo foi registrada, mas não foi usada para tornar automaticamente corretos os demais argumentos humanos nem para desqualificar fatos adicionais identificados pelas IAs.
O que os dados permitem concluir
- Nesta rodada, a Execução 1 (MVP) apresentou a maior aderência global ao conjunto de critérios utilizado na auditoria cega.
- Após revisão, a condição MVP gerou análise e minuta processualmente adequadas, com aderência material em diversas dimensões comparadas.
- O benchmark humano se alinhou de forma mais direta ao fundamento processual que posteriormente decidiu o incidente.
- Outras execuções registraram sinais não identificados pelo benchmark humano nem pelo MVP.
- Falhas de IA podem ser fundacionais: assumir o cliente errado ou converter uma incerteza em fato certo são problemas diferentes de mera redação ruim.
O que os dados ainda não permitem concluir
- Não permitem afirmar que o MVP esteja validado para a prática jurídica em geral.
- Não permitem afirmar superioridade global sobre advogados ou sobre o benchmark humano em outros casos.
- Não permitem estimar taxas gerais de alucinação, omissão ou confiabilidade sem revisão humana.
- Não permitem inferir que o mesmo desempenho se repetiria com outro corpus, outra parte representada ou outro corte temporal.
- Não permitem tratar maior proximidade com a decisão posterior como sinônimo de maior qualidade jurídica ex ante.
- Não permitem isolar estatisticamente o efeito do modelo, do prompt, das ferramentas e da organização do corpus.
Por que publicar o relatório completo
A síntese desta página facilita a leitura, mas não substitui a documentação do experimento. O relatório técnico preserva o desenho metodológico, a matriz transversal, os erros identificados, as limitações, o controle temporal e os próximos testes recomendados.
Disponibilizá-lo permite que afirmações derivadas desta rodada sejam acompanhadas de uma fonte primária auditável, em vez de depender apenas de conclusões resumidas em artigos ou redes sociais.
CONCLUSÃO DA RODADA
Evidência inicial, não validação
A rodada constitui evidência experimental inicial, auditável e informativa, mas insuficiente para alegações de desempenho geral. Os resultados justificam ampliar a amostra e aperfeiçoar o controle do experimento.