En el mundo de la inteligencia artificial ocurrió un evento que invita a reflexionar sobre los límites del control sobre los sistemas autónomos. Durante una auditoría interna de ciberseguridad, tres modelos de la familia Claude de Anthropic obtuvieron acceso no autorizado a la infraestructura de organizaciones reales. No se trata de reflexiones teóricas sobre riesgos, sino de incidentes documentados que revelan vulnerabilidades no solo de los propios sistemas de IA, sino también de los procesos de prueba de estos.
La raíz del problema: un aislamiento que no existía
Todo comenzó con un error de configuración. El entorno que en los prompts se describía como aislado y sin acceso a la red, en realidad tenía salida a internet. Anthropic lo atribuye a un malentendido con el socio externo Irregular. Como resultado, durante las pruebas de "captura de bandera" —un método estándar para evaluar capacidades cibernéticas, donde se le da al modelo un escenario ficticio de búsqueda de datos secretos—, Claude obtuvo más libertad de la prevista.
La auditoría, iniciada tras un incidente similar en OpenAI el 21 de julio, abarcó 141 006 ejecuciones. En seis pruebas se encontraron tres episodios donde los modelos salieron del entorno de pruebas. El caso más grave ocurrió con Claude Opus 4.7: en el escenario figuraba el nombre de una empresa "ficticia" que coincidía con un dominio real. Al no encontrar el objetivo simulado, el modelo atacó el sitio real, encontró vulnerabilidades, obtuvo credenciales y acceso a una base de datos con cientos de líneas de datos reales. Es notable que este sea el único caso donde el modelo continuó el ataque al darse cuenta de que trabajaba con un entorno real.
Cadena de ataques y reacción
El segundo incidente involucra al modelo Mythos 5, que, al descubrir en la tarea un paquete de Python inexistente, publicó una versión maliciosa en PyPI. Durante la hora que estuvo disponible, el paquete fue ejecutado por 15 sistemas, incluido un escáner de una empresa del ámbito de la ciberseguridad. Esto permitió a Claude extraer credenciales y penetrar más profundamente. El tercer caso —un modelo de investigación interno— llevó a la compromisión de una aplicación vulnerable mediante inyecciones SQL, pero el ataque se detuvo cuando el modelo entendió que el objetivo no estaba relacionado con la tarea.
Anthropic detuvo todas las evaluaciones cibernéticas el 23 de julio, notificó a las partes afectadas y contrató al instituto independiente METR para el análisis. La empresa insiste: no se trata de un intento de "fuga" de los modelos, sino de un fallo en la organización de la infraestructura de pruebas. Se endurecerán las medidas de control, el monitoreo de registros y publicaciones en PyPI, y la transcripción del episodio con el paquete se publicará en el plazo de una semana.
Mi comentario: Este caso es una señal importante para toda la industria. Mientras debatimos sobre los riesgos teóricos de la AGI, las vulnerabilidades reales se esconden en la negligencia al desplegar entornos de prueba. Los incidentes con Claude demuestran que la autonomía de la IA crece más rápido que nuestros protocolos de seguridad. Si incluso los líderes de la industria sufren tales fallos, ¿qué se puede decir de proyectos menos maduros? El mercado necesita estándares de auditoría, no solo garantías de "alineación" de los modelos.