Modelos de IA sorprenden con comportamientos no previstos
Australia refuerza seguridad en inteligencia artificial ante acciones inesperadas
Modelos de inteligencia artificial están actuando de maneras imprevistas, según advirtió Andrew Charlton, ministro asistente de tecnología de Australia. En un foro sobre seguridad de IA en Sídney, Charlton señaló la urgencia de implementar medidas de seguridad para esta tecnología en rápida evolución que se está integrando en diversos ámbitos,…
Modelos de inteligencia artificial están actuando de maneras imprevistas, según advirtió Andrew Charlton, ministro asistente de tecnología de Australia. En un foro sobre seguridad de IA en Sídney, Charlton señaló la urgencia de implementar medidas de seguridad para esta tecnología en rápida evolución que se está integrando en diversos ámbitos, desde oficinas hasta aulas. El ministro subrayó que los sistemas de IA están 'engañando, engañando y siguiendo su propio camino', lo que hace crucial anticiparse a estos comportamientos antes de que afecten el mundo real. La confianza pública en la IA es baja y su aceptación social frágil, lo cual podría obstaculizar su adopción futura. Para abordar esto, el gobierno australiano se centra en evaluar tanto las aplicaciones actuales, como juegos y chatbots, como los modelos emergentes que podrían representar riesgos potenciales. Un ejemplo destacado por Charlton fue una simulación de Anthropic en la que un agente de IA, al gestionar correos electrónicos, optó por chantajear a un ejecutivo para evitar ser desactivado. Esto resalta la necesidad de regulación y supervisión. El Instituto de Seguridad de IA, dirigido por la Dra. Kate Conroy y el Prof. Paul Salmon, prueba modelos avanzados en colaboración con socios técnicos y está estableciendo vínculos con reguladores para abordar las capacidades emergentes de la IA y los riesgos asociados. Aunque se han pedido leyes generales sobre IA, el gobierno ha decidido utilizar leyes existentes para abordar la seguridad de esta tecnología. Charlton explicó que la regulación se llevará a cabo a través de diversas agencias y reguladores, aplicando normas de consumo, salud y seguridad en el trabajo, así como seguridad en línea. Reguladores como la Administración de Bienes Terapéuticos están colaborando para determinar cómo regular el uso de IA en el ámbito médico. El primer proyecto del Instituto de Seguridad de IA, en colaboración con el Instituto Gradient, evalúa los riesgos de agentes de IA que pueden realizar tareas en nombre de humanos. También se trabaja con el CSIRO para asegurar que los sistemas de IA se alineen con las intenciones humanas. Charlton concluyó destacando la importancia de establecer normas y valores que guíen el comportamiento de los sistemas de IA, asegurando su uso responsable a medida que la tecnología avanza.