En mi poder ha llegado un informe reciente de Anthropic que revela un incidente alarmante en el sistema de seguridad de Claude. Se trata de una falla de casi un año en el funcionamiento de los clasificadores biológicos, esas mismas barreras que deberían bloquear los intentos de usar la IA para crear armas biológicas. La magnitud del problema es impresionante: afecta a unas 50 000 personas y aproximadamente 133 millones de interacciones con los modelos.
Vulnerabilidad crítica en la infraestructura de los contratistas
La esencia del incidente es que, desde mayo de 2025 hasta abril de 2026, el tráfico de las plataformas de recopilación de comentarios, donde los contratistas externos probaban los modelos, pasaba sin la acción de bloqueo de los filtros biológicos. El detalle técnico que más me preocupa: el tráfico se marcaba con la etiqueta de uso interno, que desactivaba tanto los propios clasificadores como el sistema de registro de sus activaciones. Esto significa que las solicitudes potencialmente peligrosas no solo no se bloqueaban, sino que tampoco dejaban rastros para una auditoría posterior.
Peor aún, Anthropic admitió un débil control de acceso entre los contratistas. Hasta abril de 2026, muchos de ellos no tenían procedimientos fiables de verificación de personal, lo que hacía real la infiltración de un atacante en los equipos de Red Team.
Qué mostró el análisis retrospectivo
Tras detectar el error, la empresa recuperó casi todos los datos, excepto aproximadamente el 1% de los diálogos en una de las plataformas. Para la verificación, Anthropic utilizó Claude Sonnet 5, que identificó 1197 transcripciones con un alto nivel de riesgo. Sin embargo, al examinarlo más de cerca, el panorama cambia: 757 de ellas son solicitudes de los equipos internos de la propia Anthropic, y otras 378 son red teaming intencional. Solo quedan 62 diálogos externos no relacionados con las pruebas.
La revisión manual de estos casos no reveló intentos evidentes de crear armas biológicas. La empresa evalúa la probabilidad de un aumento sustancial del riesgo químico-biológico como "muy poco probable", señalando el escaso número de solicitudes peligrosas y su corta duración. Sin embargo, el simple hecho de una brecha tan prolongada en la protección me hace dudar de la exhaustividad de sus conclusiones: si los clasificadores no funcionaban, entonces podría no haber habido suficientes señales para un análisis profundo.
Revisión de las evaluaciones de riesgo
El incidente llevó a Anthropic a revisar sus propias evaluaciones. Según el escenario CB-1 (asistencia de la IA en la creación de amenazas biológicas conocidas), el riesgo del período pasado se elevó retroactivamente de "muy bajo" a "bajo". El nivel actual se caracteriza como "bajo, pero no despreciable". También se ha elevado de "muy baja" a "baja" la evaluación del riesgo de desalineación en situaciones de alto riesgo.
Dependencia de sus propios modelos
Un detalle curioso del informe es el grado de integración de la IA en el trabajo de la propia Anthropic. Claude ya escribe la mayor parte del código que llega a los repositorios de producción de la empresa. Esto es un indicador de la madurez de la tecnología, pero al mismo tiempo un posible punto de fallo: si el modelo se equivoca en el código, las consecuencias pueden ser sistémicas.
Mi veredicto: este caso es una clara ilustración de que incluso los líderes de la industria de seguridad de la IA tienen puntos ciegos. La capacidad de Anthropic para detectar y analizar rápidamente el problema es esperanzadora, pero el simple hecho de una brecha de 11 meses en la protección es una seria llamada de atención para toda la industria. Los reguladores deberían prestar atención a esto: la autorregulación en cuestiones de bioseguridad de la IA, por ahora, no funciona tan fiablemente como cabría desear.