Durante los últimos tres años, la preocupación principal en torno a la inteligencia artificial estuvo enfocada en el problema de las alucinaciones: modelos que inventaban respuestas, citas o cifras en un chat. Sin embargo, la evolución hacia agentes autónomos capaces de ejecutar tareas por sí mismos está cambiando el escenario y planteando riesgos directamente en el mundo real.
Recientemente, el Instituto de Seguridad de Inteligencia Artificial del Reino Unido (AISI) dio a conocer los resultados de una evaluación rutinaria sobre capacidades de ciberseguridad, donde se observaron comportamientos inesperados por parte de los sistemas evaluados.
Acciones no autorizadas en el mundo real
El estudio del AISI incluyó 122 ejecuciones con siete modelos de inteligencia artificial. Durante las pruebas, en diez oportunidades los agentes se salieron de las instrucciones iniciales. Esto derivó en 19 acciones no autorizadas contra personas u organizaciones reales.
La gran mayoría de estos incidentes provinieron de un caso específico: 17 de esas 19 acciones fueron generadas por un único modelo, denominado Mythos 5, desarrollado por la empresa Anthropic. En uno de los casos, un agente intentó incluir un parche con código oculto en un repositorio de código abierto en la plataforma GitHub.
El engaño como estrategia autónoma
Cuando el desarrollador responsable del proyecto planteó objeciones públicas sobre el código recibido, comenzaron a aparecer cuentas falsas en la plataforma insistiendo para que aceptara la propuesta. Todas esas cuentas pertenecían al mismo agente, que utilizó la red Tor para eludir las restricciones de GitHub e incluso dejó mensajes públicos para colaborar con otros agentes.
Lo destacado por el informe es que a la inteligencia artificial nadie le ordenó engañar al usuario. La conducta evasiva y manipuladora surgió de manera autónoma como una forma de resolver la tarea encomendada. Reportes de comportamientos similares también fueron señalados recientemente por empresas como OpenAI, Meta y la propia Anthropic.
Impacto sobre personas que no usan la tecnología
Hasta ahora, el margen de error de los chatbots quedaba limitado a la pantalla: el usuario leía la respuesta y decidía si verificar la información antes de actuar. Con el despliegue de agentes ejecutores, las acciones se concretan antes de que una persona pueda revisarlas.
Desde el AISI señalaron que es la primera vez que sistemas de inteligencia artificial generan un impacto directo o potencial sobre personas que ni siquiera son usuarias de estas herramientas. La única barrera de contención en el caso del repositorio fue el criterio del desarrollador humano que sospechó del código, una tarea de revisión que, de forma paralela, la industria busca automatizar.