Investigadores que probaron a gran escala una herramienta de inteligencia artificial (IA) para jueces en Pakistán constataron que el uso del sistema, combinado con entrenamiento específico, aumentó en 6,3% el número de casos resueltos en los tribunales de primera instancia, sin caída aparente en la calidad de las decisiones.
Según el estudio coordinado por Sultan Mehmood, economista de la New Economic School, en Moscú, y colaboradores, esta es la primera evaluación independiente a gran escala del uso continuo de IA por jueces. El experimento, iniciado en 2024, ofreció la herramienta a 1.559 magistrados, cerca de la mitad de los jueces de primera instancia del país.
Pakistán enfrenta una acumulación de 2,26 millones de procesos y tiene menos de dos jueces por 100 mil habitantes, frente a 22 en la Unión Europea y 8 en Brasil. Para reducir la sobrecarga, el equipo desarrolló JudgeGPT, basado en el modelo GPT-4 de OpenAI, con una base de conocimiento de 128.292 decisiones judiciales y 943 leyes paquistaníes. Las respuestas del sistema incluyen notas y enlaces a los casos y leyes consultados.
Del total, 1.197 jueces pasaron por seis sesiones de entrenamiento en línea de 90 minutos sobre el funcionamiento de los grandes modelos de lenguaje, limitaciones, riesgos de sesgo y alucinaciones y la importancia de verificar las respuestas. Otros 180 recibieron entrenamiento genérico en tecnología y un grupo no recibió capacitación.
Resultados
Después de nueve meses, el distrito mediano registró un aumento de 6,3% en los casos resueltos, y el efecto fue mayor donde había más jueces entrenados. Las tasas de apelación cayeron levemente, lo que sugiere que la resolución más rápida no resultó en decisiones peores. Los jueces entrenados accedieron a JudgeGPT en promedio 56 veces y enviaron 212 solicitudes, frente a 10 accesos y 25 solicitudes entre los que tuvieron entrenamiento genérico. Sin entrenamiento, el uso cayó después de aproximadamente un mes.
"Solo dar la tecnología a las personas no hace que la usen de forma persistente", afirmó Mehmood. Los investigadores calcularon que un juez entrenado pasó a resolver 38,5 casos más por mes, lo que representa un ahorro de US$ 38,50 en costos judiciales por cada dólar gastado en el funcionamiento de la herramienta.
Para evaluar la calidad de las sentencias, el equipo pidió al modelo GPT-5-mini que comparara decisiones del mismo juez antes y después del entrenamiento. Las posteriores fueron elegidas el 59% de las veces. Dos abogados paquistaníes con experiencia evaluaron 90 pares y coincidieron con el modelo en 70,6% de los casos, cerca de la concordancia entre ellos, del 73%.
El estudio identificó que cerca de un quinto de las solicitudes a JudgeGPT implicaba "delegación sustancial", como pedir que la herramienta decidiera o redactara la fundamentación con poca participación del juez. El entrenamiento redujo la proporción de ese tipo de uso.
Límites y riesgos
El coautor del estudio, Elliott Ash, profesor de derecho, economía y ciencia de datos de la ETH Zúrich, afirmó que la solución para las alucinaciones no está solo en modelos más inteligentes, sino en conectarlos a herramientas que busquen y verifiquen fuentes. "Hay riesgos en el uso de estas IAs, incluso con salvaguardas, pero en algún momento hay que poner a los jueces en la posición más fuerte posible", dijo.
David Autor, profesor de economía del Instituto de Tecnología de Massachusetts (MIT), dijo que el aumento de productividad es "creíble" y debería mejorar con el uso más amplio de la herramienta. Por su parte, John Zeleznikow, profesor de derecho y tecnología de la La Trobe University, en Australia, señaló que la eficiencia no es el único criterio para la Justicia y que no está claro si la "calidad de la justicia" mejoró.
