La IA de Anthropic 'hackeó' a tres empresas por error

La inteligencia artificial tiene un gran potencial para mejorar la ciberseguridad, pero los últimos acontecimientos están demostrando que, si no se tiene cuidado, también puede convertir la red en un polvorín. Después de que OpenAI reconociera la semana pasada que sus sistemas de IA … habían realizado un ciberataque exitoso contra la plataforma Hugging Face, entre otras empresas, Anthropic ha realizado un anuncio similar en el que señala que sus modelos ‘hackearon’ por error a tres compañías diferentes el pasado abril.
Según ha explicado la firma estadounidense dirigida por Dario Amodei, los ciberataques tuvieron lugar durante unas pruebas internas destinadas a medir las capacidades de sus sistemas en ciberseguridad. La compañía realizó el descubrimiento a raíz del caso de OpenAI, que la llevó a revisar en los últimos días las «evaluaciones de ciberseguridad» que había llevado a cabo con varias versiones de Claude, que es el nombre que reciben los modelos de la firma.

El problema se inició mientras los sistemas participaban en un ejercicio del tipo ‘capture the flag’, una práctica que consiste en infiltrarse en una red informática para localizar un archivo o una información oculta. Aunque la IA había sido informada de que trabajaba en un entorno aislado y sin acceso a internet, una mala configuración permitió que pudiera conectarse a la red.

Noticia relacionada

«Ni nosotros ni nuestro socio evaluador tuvimos conocimiento de esta configuración errónea hasta que la detectamos mediante nuestro sistema de monitorización adicional la semana pasada», explican desde Anthropic.
Este fallo, que fue completamente humano, permitió que la tecnología que se estaba probando tuviera acceso a los sistemas de empresas reales. «Operando bajo la falsa creencia de que todas las entidades accesibles estaban incluidas en el alcance del ejercicio», según apunta la tecnológica, «se comprometió la infraestructura de las organizaciones afectadas utilizando técnicas básicas, como la explotación de contraseñas débiles o puntos de acceso mal protegidos».

Tres incidentes

Tras revisar más de 141.000 evaluaciones realizadas desde principios de año, Anthropic identificó tres incidentes relacionados con este fallo que estuvieron protagonizados por tres modelos distintos: Opus 4.7, Mythos 5 y un modelo de prueba de investigación interna. El más grave estuvo protagonizado por Opus. El sistema confundió una empresa ficticia del ejercicio con una compañía real que compartía el mismo nombre de dominio. Convencido de que ese era el objetivo que le habían marcado los investigadores, consiguió acceder a parte de su infraestructura y obtener credenciales de acceso, además de consultar una base de datos de clientes.
En el segundo incidente, Mythos 5 encontró unas instrucciones en el entorno de pruebas que indicaban que los desarrolladores debían descargar una herramienta informática que en realidad no existía. Convencido de que seguía dentro de la simulación, decidió crearla él mismo y publicarla en una plataforma utilizada por millones de programadores para compartir software. Para hacerlo, llegó incluso a crear una dirección de correo electrónico y una cuenta de usuario.
El paquete estuvo disponible en internet durante aproximadamente una hora. En ese tiempo fue descargado por quince sistemas reales, entre ellos una empresa de ciberseguridad. Cuando esta ejecutó el código, el modelo obtuvo credenciales que, después, utilizó para acceder a parte de la infraestructura de la compañía.
El tercer y último caso detectado por Anthropic se originó cuando su modelo experimental no logró encontrar el objetivo que buscaba dentro del entorno de pruebas y comenzó a explorar internet. Tras localizar una empresa real, consiguió acceder a parte de sus sistemas aprovechando varios fallos de seguridad. Sin embargo, cuando comprendió que aquella organización no formaba parte del ejercicio, detuvo el ataque por iniciativa propia.

Trump valora nuevos controles

Para Anthropic, estos incidentes demuestran la necesidad de reforzar los controles de seguridad tanto en los entornos de pruebas internas de inteligencia artificial como en los de terceros. Elon Musk, director ejecutivo de SpaceX -firma que cuenta con su propia rama dedicada en concreto a la inteligencia artificial-, señaló en X que casos como estos «sucederán con frecuencia a medida que la IA se vuelva más inteligente y tiene mayor capacidad de acción» sin supervisión humana.
El temor al avance de la inteligencia artificial, especialmente la dedicada a actividades de ciberseguridad, también está provocando que Washington haya comenzado a supervisar el lanzamiento de los nuevos modelos de las empresas afincadas en el país. A inicios de junio, el presidente Donald Trump ordenó a sus asesores desarrollar un marco voluntario de pruebas de ciberseguridad para la IA más avanzada, que incluyera la opinión de los desarrolladores de la tecnología.
Los acontecimientos recientes han provocado que el Gobierno de Estados Unidos esté evaluando ejercer un control todavía mayor sobre la inteligencia artificial. «Estamos analizando la IA, estamos analizando los controles, y también nos estamos asegurando de ser líderes», afirmó esta semana Donald Trump a los medios. Aun así, el presidente remarcó que la Casa Blanca quiere evitar ser demasiado intervencionista para no quedar en un segundo lugar respecto a China en el desarrollo de la tecnología.