El científico jefe de OpenAI, Jakub Pachocki, afirmó que ningún laboratorio de inteligencia artificial ha resuelto los problemas de alineación y monitoreo a un nivel suficiente para sostener indefinidamente el actual ritmo de avance de los sistemas. En un ensayo publicado el domingo (6), defendió desaceleraciones voluntarias en el desarrollo de IA cuando las salvaguardas de seguridad no acompañen el aumento de las capacidades.
Pachocki también pidió que la coordinación internacional sobre el desarrollo de sistemas avanzados se convierta en prioridad para los gobiernos. En la evaluación del investigador, los compromisos voluntarios adoptados actualmente por los laboratorios deberían evolucionar hacia límites de seguridad ampliamente exigidos, con supervisión por auditores independientes, gobiernos o instituciones internacionales.
El posicionamiento proviene del interior de la propia OpenAI, que continúa invirtiendo en la expansión de las capacidades de sus modelos y en sistemas capaces de participar en el desarrollo de nuevas IA. Pachocki afirmó que la empresa incluso podría interrumpir unilateralmente nuevas etapas de escalamiento cuando lo considere necesario, pero reconoció que las decisiones tomadas por una única compañía no serían suficientes para reducir los riesgos de una carrera competitiva.
Monitorear modelos avanzados se está volviendo más difícil
En el ensayo, denominado An Alien Mind, Pachocki señala la alineación — hacer que una IA actúe de acuerdo con objetivos y valores humanos — como uno de los principales problemas aún abiertos del área.
Uno de los métodos utilizados para evaluar sistemas avanzados es el monitoreo del denominado chain of thought, el proceso de razonamiento verbalizado por el modelo. Según Pachocki, evaluaciones internas indican que la capacidad de confiar en ese mecanismo está disminuyendo a medida que los sistemas se vuelven más sofisticados.
Entre los factores citados se encuentran entornos de operación más complejos, una mayor interacción de los agentes con personas, herramientas y otras IA, y una capacidad creciente de los propios modelos para controlar o alterar la forma en que expresan su razonamiento. Los sistemas más recientes también logran ejecutar tareas complejas sin necesariamente externalizar todo el proceso de forma verbal, reduciendo la visibilidad disponible para los investigadores.
Pachocki relaciona este problema con el avance del auto-mejoramiento recursivo, escenario en el que los sistemas de IA pasan a desempeñar un papel cada vez mayor en la investigación y el desarrollo de modelos posteriores. Afirmó esperar que el ritmo actual de progreso continúe en esa dirección y pueda producir nuevos saltos de capacidad en los próximos años.
OpenAI pretende continuar desarrollando sistemas capaces de actuar como investigadores automatizados y utilizarlos también para mejorar sus propias técnicas de seguridad. Para Pachocki, sin embargo, ampliar las capacidades sin avances equivalentes en alineación y monitoreo no debe ser tratado como un objetivo colectivo de la industria.
La propuesta es combinar progreso técnico con reducciones coordinadas en el ritmo de desarrollo cuando la confianza en las salvaguardas sea insuficiente. Pachocki afirmó esperar que pausas voluntarias de este tipo se conviertan en parte de la estrategia de los principales laboratorios hasta que existan criterios de seguridad más robustos y compartidos.
