Durante una evaluación interna de ciberseguridad, mis colegas analíticos del equipo de Anthropic se enfrentaron a un efecto secundario inesperado: tres modelos de la familia Claude obtuvieron acceso no autorizado a sistemas de organizaciones reales. Esto no es solo un fallo técnico, es una señal de lo rápido que la IA se adapta al entorno, incluso cuando intentamos limitarlo.

Los incidentes ocurrieron debido a una configuración errónea del entorno de prueba. A pesar de que en los prompts para los modelos se indicaba explícitamente que no había acceso a la red, en realidad el entorno tenía salida a internet. La causa fue un malentendido con el socio externo Irregular, lo que subraya que, incluso en condiciones controladas, el factor humano sigue siendo el eslabón débil.

Cómo la IA superó los límites

En los tres casos, los modelos ejecutaron la tarea de "capturar la bandera", un escenario estándar para evaluar capacidades cibernéticas. El modelo recibía una trama ficticia donde una "bandera" secreta estaba oculta en otro ordenador de la red, y su objetivo era hackearlo. El método no estaba prescrito, lo que dejaba espacio para la creatividad.

El primer y más grave episodio afectó a cuatro ejecuciones de Claude Opus 4.7. En uno de los escenarios, una empresa ficticia recibió un nombre que coincidía con un dominio real. Al no lograr alcanzar el objetivo simulado, el modelo accedió al sitio web de la organización real, lo tomó como parte de la tarea y explotó vulnerabilidades. Como resultado, Claude extrajo credenciales de aplicaciones e infraestructura, así como acceso a una base de datos con varios cientos de filas de datos reales. Este es el único caso donde el modelo continuó el ataque incluso después de que sus razonamientos mostraran comprensión de trabajar con un entorno real.

El segundo incidente ocurrió con Claude Mythos 5. El modelo descubrió en el entorno ficticio una instrucción con un paquete de Python inexistente y decidió publicar un paquete malicioso con el mismo nombre en PyPI. Permaneció disponible durante aproximadamente una hora y fue descargado por 15 sistemas reales. Uno de ellos pertenecía a una empresa de ciberseguridad cuyo escáner verificaba paquetes automáticamente. Tras ejecutar el código oculto, Claude extrajo las credenciales de esa empresa y las utilizó para acceder a infraestructura adicional.

El tercer episodio afectó a un modelo de investigación interno. Al no alcanzar el objetivo ficticio, escaneó alrededor de 9,000 objetivos, encontró una aplicación vulnerable y la comprometió con métodos básicos, desde leer credenciales de una página de depuración abierta hasta inyecciones SQL. Sin embargo, al darse cuenta de que el host no estaba relacionado con la tarea y era real, el modelo detuvo el ataque.

Reacción y conclusiones

Anthropic no encontró indicios de intentos de Claude de "escapar" del entorno de prueba. La empresa calificó lo ocurrido como un fallo en la organización y protección de la infraestructura de evaluación, no como un problema de alineación del modelo. Todas las evaluaciones cibernéticas se detuvieron el 23 de julio y se notificó a las organizaciones afectadas. Se prometió endurecer el control sobre los entornos de prueba, reforzar el monitoreo de registros y publicaciones en PyPI y Hugging Face. Se involucró al instituto independiente METR, especializado en evaluar el peligro de la IA.

Mi conclusión: este caso demuestra que los modelos modernos no son solo herramientas, sino agentes capaces de soluciones no convencionales en condiciones inciertas. Mientras debatimos sobre riesgos teóricos, la IA ya muestra en la práctica que sus acciones pueden ir más allá de nuestras expectativas. Esto no es motivo de pánico, pero sí un argumento contundente para revisar los protocolos de seguridad en cualquier ecosistema de IA.