Anthropic presentó, el 2 de noviembre, el FlashProve, un sistema de código abierto que permite verificar criptográficamente si una respuesta fue producida por el modelo de inteligencia artificial anunciado por el proveedor. La tecnología busca impedir que los servicios de API o los intermediarios sustituyan una red neuronal por otra sin que el usuario pueda detectar el cambio.
Actualmente, quien contrata el acceso a un determinado modelo necesita confiar en que el proveedor realmente utiliza la versión prometida. FlashProve propone sustituir esa confianza por una prueba matemática verificable, sin exigir que el cliente tenga acceso a los parámetros internos de la red neuronal.
El sistema utiliza zkSNARKs, una técnica criptográfica que permite demostrar la ejecución correcta de un cálculo sin revelar la información confidencial utilizada en el proceso.
Antes de atender las solicitudes, el proveedor publica un identificador criptográfico asociado a los pesos de una versión específica del modelo. Después, puede generar pruebas que vinculan los resultados presentados con esa configuración. El usuario verifica esas pruebas utilizando únicamente el identificador, la entrada y la respuesta.
En las pruebas divulgadas por Anthropic, FlashProve alcanzó 110 tokens por segundo en la generación de pruebas para Llama 4 Maverick, modelo de Meta con 400 mil millones de parámetros, utilizando una GPU NVIDIA H100 y procesamiento por lotes.
Cada prueba tenía aproximadamente 19 MB y verificaba un token calculado a partir de un contexto de 1.024 tokens. La comprobación tardó 17 segundos en un procesador con 24 hilos, sin necesidad de GPU.
El alto costo computacional aún limita la tecnología
A pesar del rendimiento alcanzado, producir las pruebas exigió entre 70 y 95 veces más tiempo de GPU que ejecutar las mismas solicitudes con el mecanismo convencional de inferencia vLLM, según las mediciones de Anthropic.
El prototipo también presenta restricciones importantes. La verificación se realiza después de la generación de las respuestas, utiliza una versión del modelo basada en aritmética entera y contempla únicamente la selección determinista de tokens, conocida como greedy decoding.
El límite actual de contexto es de 1.024 tokens, significativamente inferior a las ventanas utilizadas por los modelos comerciales. La empresa también reconoce que aún no existe una garantía formal de equivalencia entre la implementación rápida del verificador en C++ y el protocolo matemático especificado.
Como parte del lanzamiento, Anthropic puso a disposición el código fuente, la descripción técnica del protocolo y las pruebas formales desarrolladas en Lean, lenguaje utilizado para verificar propiedades matemáticas de programas. Los materiales se publicaron bajo la licencia Apache 2.0.
La tecnología puede aplicarse a la auditoría independiente de modelos, a la verificación de servicios intermediarios de API y a la comprobación de que los sistemas autorizados están efectivamente en funcionamiento.
FlashProve sigue siendo un prototipo de investigación, sin anuncio de implementación comercial. Su garantía también tiene un límite fundamental: comprobar qué modelo produjo una respuesta no significa comprobar que la información presentada sea verdadera.
