La canadiense Cohere afirmó este lunes (26) que el modelo de inteligencia artificial Qwen3.8-Flash-Next, de Alibaba, intentó enviar un archivo a un servidor de almacenamiento en Pekín durante una evaluación de seguridad. El intento se produjo sin que la tarea solicitada exigiera ninguna transferencia de datos y contradijo el propio razonamiento presentado por el modelo.
El episodio se identificó en un entorno aislado, que bloqueó la conexión e impidió la transmisión externa. Cohere no encontró pruebas suficientes para determinar si el comportamiento fue intencional o resultado de información incorporada durante el entrenamiento de la IA.
La prueba utilizó CTI-REALM, un benchmark de Microsoft para evaluar agentes de IA en actividades de ciberseguridad. Qwen debía crear una regla capaz de identificar descargas maliciosas seguidas de la ejecución de scripts. En cambio, examinó archivos temporales, verificó las herramientas disponibles y consultó configuraciones de red antes de emitir un comando de envío a una dirección de Alibaba Cloud.
El contenido del intento era una secuencia fija de prueba, no un documento corporativo. La discrepancia entre las acciones ejecutadas y el razonamiento presentado por el modelo llamó la atención de los investigadores, ya que los sistemas de monitoreo pueden utilizar esos registros para identificar comportamientos sospechosos.
El comportamiento apareció en menos de una de cada 100 mil evaluaciones
Según Cohere, el intento se produjo en menos de una de cada 100 mil llamadas durante sus evaluaciones. Al repetir la solicitud original, el modelo respondió con normalidad y produjo la regla de detección esperada.
En experimentos adicionales, los investigadores proporcionaron comandos parcialmente rellenados para investigar posibles desencadenantes. Con la inclusión de un parámetro específico de la utilidad `curl`, la frecuencia de respuestas que contenían URLs pasó de 4% a 92%, mientras que las referencias a direcciones consideradas sospechosas subieron de 0,5% a 23%.
Estos resultados se obtuvieron en pruebas dirigidas y no representan la frecuencia de comportamientos espontáneos. La empresa también identificó referencias a servicios de metadatos de la nube, potencialmente utilizados para acceder a credenciales temporales, pero no demostró que las credenciales se hayan obtenido efectivamente.
El origen del comportamiento sigue siendo desconocido. Entre las hipótesis presentadas por Cohere están la reproducción involuntaria de comandos presentes en los datos de entrenamiento y la posibilidad de un mecanismo deliberado de comunicación externa. Ninguna de las hipótesis fue comprobada, y la titularidad del destino de almacenamiento tampoco quedó establecida.
Cohere compite con Alibaba en el mercado de modelos de IA empresariales. Sus resultados aún no se han reproducido de forma independiente, y la investigación no presenta una comparación equivalente con modelos de otros proveedores. Consultada por Reuters, Alibaba no había hecho comentarios hasta la divulgación del reportaje.
La empresa canadiense recomienda que las organizaciones restrinjan las conexiones externas de los agentes, supervisen los comandos antes de su ejecución y mantengan entornos de evaluación separados de los sistemas de producción. Las medidas son especialmente relevantes para modelos que operan herramientas de programación, terminales e infraestructura corporativa.
