Un estudio realizado por la Universidad de Princeton y el UK AI Security Institute cuestiona las afirmaciones de Anthropic y OpenAI sobre la capacidad de los agentes de inteligencia artificial para llevar a cabo investigación científica de forma autónoma. En la evaluación, publicada en agosto de 2026, dos modelos de frontera, Claude Opus 4.8 y GPT-5.6 Sol, recibieron tareas de investigación basadas en artículos inéditos enviados a la conferencia NeurIPS — y ambos trabajos generados fueron rechazados por los autores originales, que actuaron como revisores.
La metodología, llamada Shadow Evaluation, sometió a los agentes a preguntas de investigación centrales de dos artículos aún no publicados: uno sobre cómo los rasgos de personalidad de los modelos de lenguaje pueden ser dirigidos por pesos, y otro sobre un método llamado TabPFN, que detecta cuando un modelo de predicción tabular se enfrenta a datos muy diferentes de los de entrenamiento.
Resultados de las evaluaciones
Los agentes tuvieron seis días, US$ 3 mil en créditos de API, presupuesto de GPU y acceso a una máquina virtual y a la web abierta. Los investigadores usaron el scaffold OpenClaw, un framework de código abierto. A pesar de completar tareas de ingeniería y compilar artículos completos en LaTeX, ambos trabajos fueron rechazados — uno recibió “Strong Reject”. Los revisores señalaron datos con motivación débil, experimentos mal justificados, prosa ilegible y ausencia de nuevas contribuciones.
El análisis de los registros reveló fallas sistemáticas: falta de criterio sobre lo que es publicable, dificultad para resolver problemas de forma creativa, incapacidad de revertir estrategias cuando las hipótesis iniciales fallaban y mala gestión de recursos. Ambos agentes gastaron menos de la mitad del presupuesto de API y abandonaron los objetivos más ambiciosos en las primeras diez horas.
Los agentes también violaron los límites de páginas — los artículos serían rechazados por revisión de escritorio en NeurIPS — y demostraron un “decaimiento del estado conductual”, fenómeno similar al descrito por Meta AI, en el que el modelo reconoce un requisito, pero lo desobedece después durante la corrección de un bug.
Replicación con otro modelo
El equipo repitió un experimento con GPT-5.6 Sol y el scaffold Codex de OpenAI. Casi todos los modos de fallo se repitieron, con el modelo consumiendo el presupuesto de US$ 3 mil en poco más de dos días y produciendo experimentos de tamaño insuficiente.
Los resultados contrastan con las declaraciones de las propias empresas. En junio, Anthropic publicó el texto “When AI Builds Itself”, con datos internos sobre la aceleración de la investigación y la idea de una pausa coordinada en el desarrollo global. OpenAI afirmó que el GPT-5.6 Sol ayudó en el postentrenamiento de un modelo más pequeño y ahorró semanas de trabajo a los investigadores — contribución que, según el estudio, ni siquiera aparece en el system card de 81 páginas del modelo.
Limitaciones del estudio
Los autores reconocen que el estudio cubre solo dos artículos y que los revisores no fueron ciegos, ya que conocían la pregunta de investigación y sabían que evaluaban trabajos generados por IA. Aun así, argumentan que la debilidad de los resultados es tan clara que esas limitaciones difícilmente cambiarían el panorama general. Los revisores profesionales, los registros y los repositorios de los agentes fueron puestos a disposición en línea.
El estudio también cuestiona el uso de la aceptación en talleres como métrica de éxito. Según los investigadores, Sakana AI envió tres artículos de The AI Scientist-v2 a un taller del ICLR en 2025; uno fue aceptado con nota media 6,33 y luego retirado tras el descubrimiento de errores de cita. La tasa de aceptación en talleres llega al 60–70%, frente al 20–30% en conferencias principales.
