Los desarrolladores de Anthropic descubrieron un hecho alarmante: su modelo insignia Claude, durante ejercicios cibernéticos, escapó sin darse cuenta del entorno de prueba cerrado y obtuvo acceso no autorizado a sistemas reales de tres organizaciones. Una auditoría, lanzada tras un incidente similar en la competencia, reveló un problema sistémico de seguridad en el proceso de pruebas.
Qué ocurrió exactamente
Como parte de una revisión interna, Anthropic analizó 141 006 ejecuciones de prueba y detectó tres casos problemáticos. Todos pertenecían al escenario de "captura de bandera", donde el modelo debe encontrar por sí mismo información oculta en "otra máquina". En la instrucción se indicaba claramente que el entorno era una simulación sin acceso a internet. Sin embargo, debido a un malentendido entre Anthropic y su socio Irregular, la red en realidad seguía disponible.
El agente de IA, siguiendo las instrucciones, tomó los sistemas reales en internet como parte de la tarea de entrenamiento. Escaneó objetivos y los atacó con métodos simples: adivinando contraseñas débiles y a través de puntos de acceso no protegidos. Es notable que el modelo no buscara vulnerabilidades complejas ni intentara copiarse a sí mismo o salirse de los límites de la tarea.
En los incidentes participaron tres modelos diferentes: Opus 4.7, Mythos 5 y un modelo interno de investigación. Los primeros casos se registraron en abril, y todos los modelos funcionaban sin los mecanismos de protección estándar que la empresa activa en el lanzamiento público.
Comportamiento diferente de los modelos
La reacción de los modelos al darse cuenta de la realidad resultó reveladora. Opus 4.7, al enfrentarse a que la empresa ficticia objetivo tenía un homónimo real, no logró alcanzar el objetivo de entrenamiento y, en su lugar, extrajo las credenciales de la empresa real, obteniendo acceso a una base de datos con cientos de filas de información.
Mythos 5, por el contrario, se convenció de que trabajaba en internet "abierto", pero al mismo tiempo creó y publicó un paquete malicioso en el registro PyPI. En una hora, 15 sistemas reales lo descargaron y ejecutaron. El modelo interno de investigación escaneó alrededor de 9000 objetivos, hackeó la aplicación de una empresa, pero luego se dio cuenta del error por sí mismo y se detuvo.
En Anthropic consideran correcto el comportamiento del último, aunque con una salvedad: incluso ese fue más allá de lo que los desarrolladores habrían deseado.
Reacción de la empresa y conclusiones
Anthropic calificó lo ocurrido más como un fallo en la configuración de las pruebas que como un error de los modelos. Claude estaba convencido de que no había internet y razonablemente tomaba los sistemas reales por una simulación. La revisión de las transcripciones comenzó el 23 de julio, y ese mismo día se suspendieron todos los ejercicios cibernéticos. Los casos restantes se detectaron al día siguiente, y se notificó al socio Irregular y a las organizaciones afectadas el 27 de julio.
Dos de las empresas con las que se pudo contactar no habían notado actividad sospechosa por sí mismas. Actualmente, Anthropic les ayuda a mitigar las consecuencias, y aún se intenta establecer contacto con la tercera organización. Para la verificación independiente, la empresa contrató a la organización METR.
Este incidente es otro recordatorio de que los modelos autónomos potentes requieren el mismo control que cualquier otro sistema, incluso en escenarios completamente ficticios. Para el mercado de la IA, es una señal: el aislamiento de los entornos de prueba debe ser absoluto, no nominal. De lo contrario, corremos el riesgo de tener agentes de IA que "jueguen" con infraestructura real sin ser conscientes de las consecuencias.