GhostWriter envenena los recuerdos de la IA para manipular las respuestas que da a los usuarios

Un nuevo vector de ataque plantea desafíos en la seguridad de modelos de lenguaje

GhostWriter: Un nuevo ataque que manipula la memoria de la inteligencia artificial Investigadores de la Universidad Estatal de Nuevo México han revelado preocupaciones sobre GhostWriter, un innovador vector de ataque que explota la memoria a largo plazo de los modelos de lenguaje para alterar los recuerdos, lo que podría influir…

GhostWriter: Un nuevo ataque que manipula la memoria de la inteligencia artificial

Investigadores de la Universidad Estatal de Nuevo México han revelado preocupaciones sobre GhostWriter, un innovador vector de ataque que explota la memoria a largo plazo de los modelos de lenguaje para alterar los recuerdos, lo que podría influir en las decisiones de los usuarios.

La memoria a largo plazo de los modelos de lenguaje permite que chatbots como ChatGPT o Gemini retengan información de conversaciones previas, lo que posibilita interacciones más personalizadas y ajustadas a las solicitudes de los usuarios. Sin embargo, este componente presenta vulnerabilidades que GhostWriter puede aprovechar. Este ataque se caracteriza por ocultar instrucciones maliciosas en objetos que la inteligencia artificial analiza, como imágenes o textos.

GhostWriter se manifiesta como una forma de inyección de instrucciones, pero a diferencia de otros ataques que buscan respuestas inmediatas, su objetivo es alterar la información que se almacena en la memoria de la IA. En lugar de robar datos, busca manipular la información que la inteligencia artificial proporciona a los usuarios en futuras interacciones.

Los investigadores, en su estudio, atribuyen este vector de ataque a la ausencia de una gobernanza de memoria que priorice la seguridad. Para abordar esta problemática, proponen la implementación de un centinela de memoria agente (AM-Sentry), que podría mitigar ataques como el de GhostWriter mediante una política de ahorro de memoria y un filtro de recuperación de memoria.

La relevancia de este descubrimiento es significativa para los tomadores de decisiones en México y América Latina, ya que destaca la necesidad de fortalecer la seguridad en el uso de la inteligencia artificial, especialmente en un contexto donde la personalización y la interacción con los usuarios son cada vez más críticas. La adopción de medidas preventivas se vuelve esencial para garantizar la integridad de la información y la confianza en las tecnologías emergentes.