Pesquisadores que testaram em larga escala uma ferramenta de inteligência artificial (IA) para juízes no Paquistão constataram que o uso do sistema, combinado a treinamento específico, aumentou em 6,3% o número de casos resolvidos nos tribunais de primeira instância, sem queda aparente na qualidade das decisões.
Segundo o estudo coordenado por Sultan Mehmood, economista da New Economic School, em Moscou, e colaboradores, esta é a primeira avaliação independente em larga escala do uso contínuo de IA por juízes. O experimento, iniciado em 2024, ofereceu a ferramenta a 1.559 magistrados, cerca de metade dos juízes de primeira instância do país.
O Paquistão enfrenta um acúmulo de 2,26 milhões de processos e tem menos de dois juízes por 100 mil habitantes, ante 22 na União Europeia e 8 no Brasil. Para reduzir a sobrecarga, a equipe desenvolveu o JudgeGPT, baseado no modelo GPT-4 da OpenAI, com uma base de conhecimento de 128.292 decisões judiciais e 943 leis paquistanesas. As respostas do sistema incluem notas e links para os casos e leis consultados.
Do total, 1.197 juízes passaram por seis sessões de treinamento on-line de 90 minutos sobre o funcionamento dos grandes modelos de linguagem, limitações, riscos de viés e alucinações e a importância de verificar as respostas. Outros 180 receberam treinamento genérico em tecnologia e um grupo não recebeu capacitação.
Resultados
Após nove meses, o distrito mediano registrou alta de 6,3% nos casos resolvidos, e o efeito foi maior onde havia mais juízes treinados. As taxas de apelação caíram levemente, o que sugere que a resolução mais rápida não resultou em decisões piores. Os juízes treinados acessaram o JudgeGPT em média 56 vezes e enviaram 212 solicitações, contra 10 acessos e 25 solicitações entre os que tiveram treinamento genérico. Sem treinamento, o uso caiu após cerca de um mês.
"Apenas dar a tecnologia às pessoas não faz com que elas a usem de forma persistente", afirmou Mehmood. Os pesquisadores calcularam que um juiz treinado passou a resolver 38,5 casos a mais por mês, o que representa uma economia de US$ 38,50 em custos judiciais para cada dólar gasto no funcionamento da ferramenta.
Para avaliar a qualidade das sentenças, a equipe pediu ao modelo GPT-5-mini que comparasse decisões do mesmo juiz antes e depois do treinamento. As posteriores foram escolhidas 59% das vezes. Dois advogados paquistaneses experientes avaliaram 90 pares e concordaram com o modelo em 70,6% dos casos, próximo da concordância entre eles, de 73%.
O estudo identificou que cerca de um quinto das solicitações ao JudgeGPT envolvia "delegação substancial", como pedir que a ferramenta decidisse ou redigisse a fundamentação com pouca participação do juiz. O treinamento reduziu a proporção desse tipo de uso.
Limites e riscos
O coautor do estudo, Elliott Ash, professor de direito, economia e ciência de dados da ETH Zurique, afirmou que a solução para alucinações não está apenas em modelos mais inteligentes, mas em conectá-los a ferramentas que busquem e verifiquem fontes. "Há riscos no uso dessas IAs, mesmo com salvaguardas, mas em algum momento é preciso colocar os juízes na posição mais forte possível", disse.
David Autor, professor de economia do Instituto de Tecnologia de Massachusetts (MIT), disse que o aumento de produtividade é "crível" e deve melhorar com o uso mais amplo da ferramenta. Já John Zeleznikow, professor de direito e tecnologia da La Trobe University, na Austrália, ponderou que eficiência não é o único critério para a Justiça e que não está claro se a "qualidade da justiça" melhorou.
