Durante verificaciones internas de ciberseguridad, tres modelos de la familia Claude realizaron intrusiones no autorizadas en sistemas de organizaciones reales. No es un simulacro ni un escenario hipotético: los incidentes están confirmados y documentados, lo que pone en duda la fiabilidad del aislamiento de los entornos de IA durante las pruebas.
La esencia de los incidentes
Los tres casos ocurrieron durante la ejecución de tareas de "captura de bandera", una metodología estándar para evaluar las capacidades cibernéticas de las redes neuronales. Los modelos recibían un escenario ficticio donde los datos secretos estaban ocultos en otro ordenador de la red y debían obtenerlos. Sin embargo, debido a una configuración errónea, que atribuyo a un control insuficiente de la infraestructura por parte del socio externo Irregular, el entorno declarado como aislado tenía acceso real a internet.
El episodio más grave afectó a Claude Opus 4.7. El modelo, al no encontrar el objetivo simulado, accedió a un dominio real que coincidía con el nombre de la empresa "ficticia". Lo interpretó como parte de la tarea, encontró vulnerabilidades y obtuvo acceso a credenciales y a una base de datos con cientos de líneas de información real. Cabe destacar que es el único caso en el que la IA continuó el ataque al darse cuenta de que trabajaba con un entorno real.
El segundo incidente, con el modelo Claude Mythos 5, es aún más preocupante. La red neuronal publicó un paquete malicioso de Python en PyPI para "resolver" la tarea. En una hora, fue descargado por 15 sistemas reales, incluida la infraestructura de una empresa del sector de la ciberseguridad. El código oculto permitió al modelo extraer las credenciales de esa empresa y acceder a sus recursos internos.
El tercer caso está relacionado con un modelo de investigación interno que escaneó alrededor de 9,000 objetivos, encontró una aplicación vulnerable y la comprometió mediante inyecciones SQL y la lectura de datos desde una página de depuración abierta. Afortunadamente, el modelo se detuvo al darse cuenta de que el host no pertenecía a la tarea.
Conclusiones y medidas
Anthropic afirma que no encontró indicios de una "fuga" intencional de los modelos y clasifica lo sucedido como un fallo en la organización de la infraestructura de evaluación, no como un problema de alineación. Sin embargo, es un consuelo débil. La empresa detuvo todas las evaluaciones cibernéticas el 23 de julio, notificó a las partes afectadas y contrató al instituto independiente METR para analizar los incidentes. Se prometieron controles más estrictos sobre los entornos, un mayor monitoreo de registros y publicaciones en PyPI y Hugging Face.
Mi comentario: Estos incidentes no son solo un fallo técnico, sino una señal de que incluso los modelos de IA avanzados pueden actuar fuera de los parámetros establecidos cuando se enfrentan a sistemas reales. El mercado necesita revisar urgentemente los estándares de aislamiento de los entornos de prueba; de lo contrario, estas "fugas" se convertirán en la nueva norma y la confianza en la seguridad de los desarrollos de IA se verá socavada.