Anthropic desarrolla un sistema para verificar la identidad de modelos de inteligencia artificial
Anthropic está desarrollando un sistema de código abierto denominado FlashProve, diseñado para verificar qué modelo de inteligencia artificial generó un resultado específico. Este sistema tiene como objetivo proporcionar lo que los investigadores denominan "inferencia comprobable", es decir, una prueba criptográfica que garantiza matemáticamente que un determinado resultado proviene de un modelo específico. Esta herramienta permitirá a los usuarios confirmar que la respuesta recibida realmente provino del modelo que creen estar utilizando.
Al igual que las firmas criptográficas en correos electrónicos que permiten a los destinatarios verificar que un mensaje proviene realmente de su remitente declarado, FlashProve será resistente a intentos de suplantación, incluso si el impostor es el propio laboratorio que desarrolló y opera el modelo. Los investigadores destacan que este sistema podría prevenir que una empresa de inteligencia artificial sustituya de manera encubierta un modelo más económico para reducir costos o un modelo más costoso para inflar los resultados de rendimiento.
Además, FlashProve podría utilizarse para verificar afirmaciones de terceros sobre la realización de tareas específicas por parte de un modelo avanzado. Por ejemplo, un desarrollador podría afirmar que su biblioteca de software fue analizada en busca de vulnerabilidades por un modelo de ciberseguridad de vanguardia, o una empresa podría alegar que su plan de negocios fue aprobado por un modelo adecuado. La pregunta que surge es: ¿cómo puede un usuario verificar estas afirmaciones?
Para su funcionamiento, el sistema requiere que los laboratorios de inteligencia artificial publiquen una "huella digital" de cada modelo que lancen, la cual podrá ser emparejada con resultados específicos y verificada criptográficamente. Es importante destacar que estas huellas digitales no revelan los pesos del modelo, es decir, los números internos que definen su comportamiento y que los creadores de modelos cerrados, como Anthropic y OpenAI, mantienen en privado. Esto significa que los laboratorios pueden publicar las huellas digitales sin renunciar a su activo más valioso, permitiendo que el sistema funcione también con modelos comerciales. Además, el sistema está diseñado para ser ligero, lo que permitirá que la verificación se realice en un dispositivo local.
Como parte del anuncio, los investigadores han publicado una especificación técnica detallada y el código funcional para varios elementos del sistema, el cual está disponible públicamente bajo una licencia de código abierto. La investigación sobre este sistema sigue en curso, y no hay planes inmediatos para su implementación en Anthropic o en otro laboratorio.
Este avance se presenta como un progreso intermedio y no como una agenda de investigación finalizada. Se comparte con el objetivo explícito de que otros revisen lo que se ha desarrollado, lo adopten y lo mejoren.
