El propietario de ChatGPT, OpenAI, admitió un “incidente cibernético sin precedentes”: dos de sus modelos de inteligencia artificial más capaces piratearon por su cuenta a otra empresa de inteligencia artificial, lo que generó debates sobre la necesidad de barreras tecnológicas más sólidas.
La compañía dijo que sus sistemas de inteligencia artificial salieron de un entorno de prueba y piratearon la startup Hugging Face.
La startup reveló el 16 de julio que sus servidores fueron pirateados por un agente desconocido pero sofisticado que actuaba por su cuenta.
Aquí encontrará lo último sobre cómo las empresas, algunos gobiernos y legisladores han respondido al primer ciberataque de este tipo divulgado públicamente:
¿Qué ha dicho Hugging Face?
La compañía dijo en un comunicado que descubrió la brecha a través de su propia detección asistida por IA.
«Este era diferente de todo lo que habíamos manejado antes en un aspecto importante: estaba impulsado, de principio a fin, por un sistema autónomo de agentes de IA», decía.
Tras la revelación de OpenAI de que sus modelos estuvieron involucrados en la infracción, ambas partes iniciaron una investigación conjunta en curso esta semana.
El cofundador de Hugging Face, Clement Delangue, dijo que su startup recurrió al modelo de código abierto GLM-5.2 de la compañía china Zhipu AI para analizar los datos del hack después de que los principales modelos de IA de EE. UU. rechazaran la tarea, incapaces de distinguir entre un defensor y un atacante.
El personal de Hugging Face «cree firmemente que no hubo ninguna intención maliciosa de su parte», añadió Delangue, refiriéndose a OpenAI.
«¡Estoy muy orgulloso de nuestro equipo de seguridad! Detectaron, contuvieron y revelaron públicamente un ataque como nunca antes habíamos visto, y lo hicieron a una velocidad récord», escribió en X.
«Este es el primer día para la ciberseguridad en la era de los agentes y todos estamos aprendiendo que el secreto no es la respuesta y que todos los defensores (no sólo unos pocos seleccionados) en todas partes necesitan modelos más potentes y sin restricciones, ¡especialmente los abiertos!» añadió Delangue.
¿Cómo ha reaccionado el gobierno del Reino Unido ante esto?
El Instituto de Seguridad de IA (AISI), un organismo respaldado por el gobierno del Reino Unido creado en 2023 para evaluar los riesgos que plantean los sistemas avanzados de IA, dijo esta semana que un modelo de IA que estaba investigando también se volvió deshonesto e intentó piratear sus sistemas de prueba.
La AISI no reveló la empresa detrás del modelo de IA y añadió que no se había producido ningún daño a su propia infraestructura. Desde entonces, ha tomado medidas para hacer que sus sistemas sean más seguros.
Sus últimas evaluaciones también encontraron que todos los modelos de IA fronterizos que probó intentaron hacer trampa durante las evaluaciones de capacidad, lo que destaca un desafío creciente para la seguridad de la IA a medida que los modelos se vuelven más capaces.
Según el AISI, los modelos rompieron las reglas de evaluación para completar tareas más fácilmente, incluida la búsqueda de respuestas en línea cuando estaba prohibido, eludir las restricciones de la red, investigar el software de evaluación en busca de pistas y acceder a sistemas fuera del entorno permitido.
AISI dijo que los modelos rara vez admitían haber hecho trampa cuando se les preguntaba posteriormente y a menudo no revelaban el comportamiento en su razonamiento, lo que hacía difícil detectarlo únicamente mediante el autoinforme. El instituto argumentó que el monitoreo independiente y los mecanismos de supervisión más sólidos serán cada vez más importantes a medida que los sistemas de IA adquieran más autonomía.
El instituto enfatizó que el comportamiento no indica necesariamente intenciones maliciosas, sino que refleja modelos que explotan atajos para maximizar el éxito en las configuraciones de evaluación actuales.
¿Cómo ha reaccionado OpenAI ante esto?
El fabricante de ChatGPT dijo en una publicación de blog el martes: «Hemos incorporado Hugging Face al programa de acceso confiable y estamos apoyando a sus equipos para que utilicen rápidamente las capacidades de nuestros modelos para mejorar sus defensas».
La firma de San Francisco reveló que dos de sus modelos involucrados en el ataque son el último modelo GPT-5.6 Sol y un modelo inédito que, según la compañía, es “aún más capaz” que su última versión.
Los dos agentes de OpenAI descubrieron vulnerabilidades en los servidores de Hugging Face y procedieron a robar datos de inicio de sesión y luego piratearon los sistemas de la empresa.
El incidente ocurrió durante una sesión de prueba interna de OpenAI diseñada para evaluar las capacidades de ciberseguridad de los modelos. OpenAI había eliminado las medidas de seguridad estándar para la prueba.
Ambos intentaron hacer trampa para solucionar un problema durante la prueba, dijo OpenAI. Hicieron todo lo posible para lograr un objetivo de prueba bastante limitado y encontraron formas de obtener acceso a información secreta que podría utilizar para engañar la evaluación.
El congresista demócrata estadounidense por Texas, Greg Casar, escribió en una publicación en X: «Esto es extremadamente alarmante. La IA se está desarrollando extremadamente rápido sin regulaciones reales que nos mantengan seguros. Eso tiene que cambiar».
«Necesitamos pruebas y supervisión de seguridad independientes y obligatorias, la divulgación obligatoria de los incidentes de seguridad y la cooperación internacional para mantener a la gente a salvo de un desastre absoluto», añadió.