Uma inteligência artificial conseguiu produzir previsões precisas sobre a composição de uma liga metálica, mas utilizou informações sem relevância física para chegar aos resultados. A descoberta foi apresentada por pesquisadores da Case Western Reserve University em um estudo publicado na segunda-feira (19) na revista científica Communications Materials.
A pesquisa demonstrou que uma rede neural pode apresentar alta precisão estatística sem identificar os sinais físicos que deveria analisar. O problema foi detectado em um sistema de aprendizado de máquina aplicado a difratogramas de raios X, registros utilizados para investigar a estrutura de materiais.
Os cientistas analisaram a capacidade de duas redes neurais de estimar as proporções das fases cristalinas alfa e beta presentes na liga de titânio Ti–6Al–4V. Embora ambas tenham alcançado resultados semelhantes, os mecanismos utilizados para realizar as previsões eram fundamentalmente diferentes.
Dois modelos precisos, mas apenas um aprende o sinal físico
O primeiro modelo, denominado IE, havia recebido treinamento inicial com imagens naturais do banco ImageNet. O segundo, chamado ISE, passou também por uma etapa de treinamento com difratogramas simulados. Posteriormente, ambos foram ajustados com apenas 250 difratogramas experimentais.
Nos testes convencionais, as duas redes apresentaram elevada precisão. Entretanto, avaliações de robustez e mapas de atenção revelaram uma diferença decisiva.
O modelo IE havia aprendido a utilizar texturas de fundo e ruído dos pixels, características que não representam diretamente as propriedades físicas investigadas. Já o ISE concentrava suas previsões nas reflexões de Bragg, padrões de difração associados à estrutura cristalina do material.
Isso significa que o primeiro sistema conseguia produzir respostas aparentemente confiáveis a partir de informações inadequadas para a tarefa, enquanto o segundo utilizava evidências fisicamente relevantes.
O trabalho, liderado por Redad Mehdi e colaboradores, mostra que avaliar apenas a precisão das previsões pode ser insuficiente para validar modelos científicos de IA. Os resultados se referem especificamente à análise de difratogramas e indicam a importância de incorporar conhecimento físico ao treinamento e testar a robustez dos sistemas.
