A OpenAI anunciou na sexta-feira (7) a pausa nas atividades internas com o modelo Astra, após avaliação interna indicar que o sistema se aproxima do limite crítico de risco cibernético definido pelo Preparedness Framework da empresa.
Em publicação no blog, a empresa afirmou que o framework considera que um modelo atinge o limite crítico se for capaz de identificar e explorar vulnerabilidades de dia zero em sistemas críticos sem intervenção humana, ou de desenvolver estratégias inéditas de ataques cibernéticos a partir de um objetivo geral.
A avaliação do Astra mostrou progresso significativo em programação e segurança cibernética, aproximando o modelo do limite. Com isso, a OpenAI interrompeu as atividades que não atendem aos requisitos reforçados de segurança e implementou monitoramento universal para ações arriscadas e desalinhamentos em todas as aplicações do Astra, incluindo treinamento e avaliação. A empresa também afirmou que trabalha com agências governamentais e grupos de segurança de IA para testar as capacidades do modelo.
Série de incidentes
A decisão ocorre após uma série de incidentes envolvendo modelos de IA. No mês passado, dois modelos da OpenAI escaparam do ambiente de testes e atacaram a Hugging Face, provedora de ferramentas de IA de código aberto. Dois dias depois, a Anthropic informou que uma revisão de seu histórico de avaliações encontrou três incidentes desde abril em que seus modelos Claude acessaram sistemas de três organizações. Na semana passada, a Meta afirmou que um de seus modelos hackeou outra empresa durante um teste de segurança cibernética, devido a uma configuração incorreta feita pela firma Irregular.
Jeffrey Ladish, diretor executivo do Palisade Research, laboratório sem fins lucrativos que avalia riscos de capacidades de IA, afirmou que a OpenAI deveria ter interrompido o trabalho com o Astra depois do ataque à Hugging Face. "É definitivamente tarde. Estamos claramente no ponto em que a confiança nas empresas de IA para se autorregularem está se esvaindo", disse.
