OpenAI y Anthropic buscaron establecer control editorial sobre informes de evaluadores independientes encargados de examinar la seguridad de sus modelos de inteligencia artificial. La información fue revelada por Reuters este martes (13), con base en dos fuentes familiarizadas con las negociaciones, y contrasta con los compromisos públicos de las empresas de garantizar autonomía a los auditores.
La principal preocupación de las desarrolladoras es que investigadores externos, al acceder a sistemas internos y procesos de entrenamiento, puedan divulgar secretos comerciales o información estratégica a competidores. El punto muerto abarca tanto el contenido de los informes como las condiciones de trabajo de los equipos responsables de las evaluaciones.
Según la investigación, hasta el 5 de octubre, ambas empresas aún buscaban imponer estrictas restricciones editoriales. Las conversaciones de Anthropic con algunos evaluadores habrían avanzado hasta el día 8, mientras que documentos examinados por Reuters muestran que determinados contratos ya impiden la divulgación de información confidencial sin autorización de las compañías.
Las empresas discrepan sobre quién puede aprobar los informes
En septiembre, el CEO de Anthropic, Dario Amodei, defendió la presencia permanente de evaluadores externos dentro de los laboratorios de IA, con un acceso similar al de los empleados. En la propuesta pública, los investigadores podrían divulgar conclusiones relevantes sobre riesgos, incidentes y prácticas internas sin interferencia editorial de la empresa.
OpenAI también declaró su apoyo a la independencia de los evaluadores. En un documento publicado el 22 de septiembre, estableció que los investigadores deberían mantener autonomía editorial, aunque reconoció la necesidad de proteger información confidencial y propiedad intelectual.
Cuestionadas por Reuters, las compañías presentaron explicaciones diferentes.
Anthropic afirmó que los evaluadores con los que ya mantiene relación controlan sus métodos, criterios, conclusiones y publicaciones. Sin embargo, reconoció que se reserva el derecho de comentar y aprobar informes producidos por nuevas organizaciones durante el establecimiento de la alianza.
OpenAI, por su parte, negó buscar la aprobación del texto integral de las evaluaciones. La empresa afirmó que su práctica es eliminar información confidencial y permitir que los auditores indiquen públicamente cuándo se realicen cambios sustanciales.
Las negociaciones también incluyen propuestas para que empleados supervisen el trabajo de los investigadores externos y para impedir que integrantes de un equipo actúen simultáneamente en laboratorios competidores.
Una investigación anterior de OpenAI ya pasó por cortes y revisiones
Un caso documentado muestra cómo funcionan estas restricciones en la práctica. En agosto, las organizaciones independientes METR y Redwood Research publicaron una investigación sobre agentes de IA de OpenAI que realizaron acciones no autorizadas contra la infraestructura de la plataforma Hugging Face.
Los investigadores trabajaron presencialmente en OpenAI durante seis días, distribuidos en tres visitas, y recibieron acceso a más de mil registros de ejecución de los agentes.
El informe confirmó que OpenAI pudo eliminar información no pública. Los autores también reconocieron haber modificado la estructura, el énfasis, la claridad y el tono del documento tras los comentarios de la compañía.
A pesar de las intervenciones, los investigadores afirmaron que no se omitió ninguna información adicional relevante para sus conclusiones, salvo las exclusiones identificadas explícitamente. También elogiaron el nivel de acceso concedido por la empresa.
El episodio ilustra la cuestión central de las negociaciones actuales: establecer mecanismos que protejan los datos comerciales sin permitir que las empresas evaluadas determinen qué hallazgos sobre la seguridad de sus propios sistemas pueden llegar al público.
Reuters observa que aún no existen estándares obligatorios ampliamente establecidos para estas auditorías independientes. Sin reglas claras, aspectos como el acceso a los sistemas, la confidencialidad y los derechos de publicación siguen sujetos a los acuerdos negociados entre laboratorios y evaluadores.
