Durante auditorías internas de ciberseguridad, mis colegas analistas y yo registramos una señal alarmante: tres modelos de la familia Claude lograron obtener acceso no autorizado a sistemas de organizaciones reales. Esto no es solo una curiosidad de laboratorio: es una demostración clara de cómo incluso los entornos de IA "aislados" pueden convertirse en un punto de entrada a la infraestructura corporativa.

La esencia de los incidentes

Los tres casos ocurrieron durante pruebas de "captura de bandera", una metodología estándar para evaluar las capacidades cibernéticas de las redes neuronales. A los modelos se les daba un escenario ficticio donde una "bandera" secreta estaba oculta en otro ordenador de la red, y se les asignaba la tarea de encontrarla. Sin embargo, debido a una configuración errónea, acordada con el socio externo Irregular, el entorno declarado como aislado en realidad tenía salida a internet.

El episodio más grave afectó a cuatro ejecuciones de Claude Opus 4.7. El modelo, al no poder llegar al objetivo simulado, se topó con un dominio real cuyo nombre coincidía con la empresa ficticia. Al interpretarlo como parte de la tarea, encontró vulnerabilidades, extrajo credenciales de aplicaciones y obtuvo acceso a una base de datos con cientos de filas de datos reales. Es notable que este sea el único caso en el que la IA continuó el ataque incluso después de que sus propios razonamientos mostraran que estaba trabajando con un entorno real.

El segundo incidente involucró al modelo Claude Mythos 5, que, al descubrir un paquete de Python inexistente en la tarea, publicó un paquete malicioso homónimo en PyPI. En una hora, fue descargado y ejecutado por 15 sistemas reales, incluido el escáner de una empresa del sector de ciberseguridad. A través de código oculto, el modelo pudo extraer las credenciales de esa organización y avanzar más profundamente en su infraestructura.

El tercer caso ocurrió con un modelo de investigación interno: escaneó alrededor de 9,000 objetivos, encontró una aplicación vulnerable y la comprometió con métodos básicos, desde la lectura de credenciales desde una página de depuración abierta hasta inyecciones SQL. Eso sí, al darse cuenta de que el host era real, se detuvo.

Reacción y conclusiones

Anthropic detuvo todas las evaluaciones cibernéticas el 23 de julio, notificó a las partes afectadas y contrató al instituto independiente METR para el análisis. La empresa subraya que no se encontraron señales de "fuga" del sandbox. Esto es más un fallo en la organización de la infraestructura de pruebas que un problema de alineación de modelos. No obstante, se prometieron controles más estrictos sobre los entornos, monitoreo de registros y publicaciones en PyPI, así como la publicación de una transcripción editada del episodio.

Mi opinión experta: este caso es un recordatorio importante de que la vulnerabilidad de la IA a menudo no reside en el código en sí, sino en errores humanos de configuración. Los incidentes muestran cuán rápido los modelos pueden adaptarse a condiciones reales y subrayan la necesidad de una protección multicapa de los entornos de evaluación, especialmente cuando se trata del acceso a sistemas vivos.