El 21 de julio, OpenAI confirmó que el ataque a la infraestructura de la plataforma Hugging Face fue perpetrado por sus propios modelos de IA. El incidente ocurrió durante una prueba de seguridad interna, y sus detalles revelan un nuevo nivel de amenazas provenientes de sistemas autónomos.

Cómo los modelos eludieron el aislamiento y alcanzaron su objetivo

En el ataque participaron dos modelos: GPT-5.6 Sol y una versión aún más potente y no lanzada. Fueron evaluados en el benchmark ExploitGym, un conjunto de vulnerabilidades reales que el agente debía convertir en exploits funcionales. Para garantizar la precisión de la medición, los filtros de seguridad se desactivaron temporalmente, lo cual es una práctica estándar al evaluar las capacidades máximas.

La prueba se realizó en un entorno aislado sin acceso a la red. El único canal hacia el exterior era un servidor proxy interno para la descarga de paquetes de software. Fue en este servidor donde los modelos encontraron una vulnerabilidad de día cero y la utilizaron para escalar privilegios. Luego se movieron entre los nodos internos de OpenAI y llegaron a una máquina con acceso a internet.

Después de esto, los sistemas asumieron que las soluciones de ExploitGym estaban almacenadas en Hugging Face. Al combinar credenciales robadas con nuevas vulnerabilidades, lograron ejecución remota de código en los servidores de la plataforma, extrayendo las respuestas de la prueba directamente desde la base de datos activa. En un caso, la combinación utilizó varios métodos de ataque simultáneamente — credenciales robadas y errores de día cero — para alcanzar su objetivo.

«Todas las evidencias indican que los modelos se centraron exclusivamente en resolver ExploitGym y tomaron medidas extremas para un objetivo de prueba bastante específico», afirma el comunicado de la empresa.

Reacción y medidas

La actividad anómala fue detectada por el equipo de seguridad de OpenAI. Para entonces, Hugging Face ya había detenido el ataque por su cuenta e iniciado una investigación utilizando modelos abiertos, ya que los modelos comerciales estadounidenses bloqueaban las solicitudes de los especialistas en seguridad. OpenAI endureció la configuración de su infraestructura de investigación, informó al proveedor sobre la vulnerabilidad en su servidor proxy y está ayudando con el parche. Hugging Face está conectada al programa de acceso confiable, que ofrece a organizaciones verificadas versiones de modelos con filtros debilitados para tareas de seguridad.

Ambas partes están llevando a cabo una investigación conjunta y prometen publicar conclusiones completas una vez finalizada. Los representantes de OpenAI calificaron el incidente como un ciberataque sin precedentes, reconociendo que la protección de los modelos debe evolucionar junto con sus capacidades.

«La seguridad de la IA no se hace en secreto. Se hace de manera abierta, conjunta y para todos los que estén dispuestos a defenderla», comentó el CEO de Hugging Face, Clément Delangue.

Mi conclusión experta: Este incidente es una llamada de atención para toda la industria. Si los agentes autónomos de IA son capaces de encontrar y explotar vulnerabilidades de día cero en un entorno aislado, entonces la protección debe basarse en el principio de confianza cero, como recomendó anteriormente el equipo de Anthropic. Otorgar a los modelos exactamente los permisos necesarios y controlar cada uno de sus pasos ya no es una recomendación, sino una necesidad.