O cientista-chefe da OpenAI, Jakub Pachocki, afirmou que nenhum laboratório de inteligência artificial resolveu os problemas de alinhamento e monitoramento em nível suficiente para sustentar indefinidamente o atual ritmo de avanço dos sistemas. Em ensaio publicado no domingo (6), ele defendeu desacelerações voluntárias no desenvolvimento de IA quando as salvaguardas de segurança não acompanharem o aumento das capacidades.
Pachocki também pediu que a coordenação internacional sobre o desenvolvimento de sistemas avançados se torne prioridade para governos. Na avaliação do pesquisador, compromissos voluntários adotados atualmente pelos laboratórios deveriam evoluir para limites de segurança amplamente exigidos, com fiscalização por auditores independentes, governos ou instituições internacionais.
O posicionamento parte de dentro da própria OpenAI, que continua investindo na expansão das capacidades de seus modelos e em sistemas capazes de participar do desenvolvimento de novas IAs. Pachocki afirmou que a empresa poderá inclusive interromper unilateralmente novas etapas de escala quando considerar necessário, mas reconheceu que decisões tomadas por uma única companhia não seriam suficientes para reduzir os riscos de uma corrida competitiva.
Monitorar modelos avançados está ficando mais difícil
No ensaio, chamado An Alien Mind, Pachocki aponta o alinhamento — fazer com que uma IA aja de acordo com objetivos e valores humanos — como um dos principais problemas ainda abertos da área.
Um dos métodos utilizados para avaliar sistemas avançados é o monitoramento do chamado chain of thought, o processo de raciocínio verbalizado pelo modelo. Segundo Pachocki, avaliações internas indicam que a capacidade de confiar nesse mecanismo está diminuindo à medida que os sistemas se tornam mais sofisticados.
Entre os fatores citados estão ambientes de operação mais complexos, maior interação dos agentes com pessoas, ferramentas e outras IAs e uma capacidade crescente dos próprios modelos de controlar ou alterar a forma como expressam seu raciocínio. Sistemas mais recentes também conseguem executar tarefas complexas sem necessariamente externalizar todo o processo de forma verbal, reduzindo a visibilidade disponível aos pesquisadores.
Pachocki relaciona esse problema ao avanço do autoaperfeiçoamento recursivo, cenário em que sistemas de IA passam a desempenhar um papel cada vez maior na pesquisa e no desenvolvimento de modelos posteriores. Ele afirmou esperar que o ritmo atual de progresso continue nessa direção e possa produzir novos saltos de capacidade nos próximos anos.
A OpenAI pretende continuar desenvolvendo sistemas capazes de atuar como pesquisadores automatizados e utilizá-los também para melhorar suas próprias técnicas de segurança. Para Pachocki, porém, ampliar capacidades sem avanços equivalentes em alinhamento e monitoramento não deve ser tratado como objetivo coletivo da indústria.
A proposta é combinar progresso técnico com reduções coordenadas no ritmo de desenvolvimento quando a confiança nas salvaguardas for insuficiente. Pachocki afirmou esperar que pausas voluntárias desse tipo se tornem parte da estratégia dos principais laboratórios até que existam critérios de segurança mais robustos e compartilhados.
