El equipo de Anthropic ha publicado datos sobre una brecha crítica en el sistema de seguridad biológica de su modelo insignia Claude. La falla, que duró casi un año, afectó a aproximadamente 50 000 contratistas externos y alcanzó alrededor de 133 millones de interacciones con inteligencia artificial. Esta información está contenida en mi nuevo informe analítico sobre el estado de los mecanismos de protección en la industria.
Fallo sistémico: 11 meses sin clasificadores de bloqueo
Durante 11 meses, desde mayo de 2025 hasta abril de 2026, todo el tráfico que pasaba por las plataformas de recopilación de comentarios se procesó sin la activación de clasificadores biológicos de bloqueo. Estos sistemas están diseñados para detectar y frenar intentos de uso del modelo con fines químicos o biológicos potencialmente peligrosos. El error crítico consistía en que el tráfico se marcaba con una bandera interna que simultáneamente desactivaba los filtros y deshabilitaba el registro de sus activaciones.
El aspecto más alarmante es que la mayoría de los participantes tenían la capacidad de mantener diálogos abiertos con los modelos, no solo de evaluar respuestas ya generadas. Esto significa que las solicitudes potencialmente peligrosas no solo no se bloqueaban, sino que también quedaban completamente fuera del alcance de los sistemas de auditoría posterior. Además, el informe reconoce que, antes de endurecer los requisitos, muchos contratistas carecían de procedimientos sólidos de verificación de personal, lo que hacía posible la infiltración de actores malintencionados en los equipos de Red Team.
Alcance de la revisión: 1197 transcripciones bajo sospecha
Tras detectar el error, Anthropic logró recuperar casi la totalidad de los datos, excepto el 1% de las conversaciones en una de las plataformas, donde la información no se guardaba sin pulsar el botón de envío. Para el análisis retrospectivo de todas las solicitudes se utilizó el modelo Claude Sonnet 5, que asignó un nivel de riesgo alto a 1197 transcripciones.
El análisis detallado mostró que la mayoría de ellas (757) pertenecían a los equipos internos de la propia Anthropic. De los 440 casos restantes, 378 eran red teaming intencional, es decir, intentos especializados de vulnerar la protección para verificar su fiabilidad. Así, solo 62 diálogos externos no estaban relacionados con pruebas. La verificación manual de estas conversaciones y de una muestra aleatoria de 30 diálogos de red team no reveló un uso claramente peligroso que pudiera aumentar significativamente el potencial de los atacantes para crear armas biológicas.
A pesar de que la empresa evalúa como "muy improbable" la posibilidad de un aumento sustancial del riesgo químico-biológico, el mero hecho de detectar una vulnerabilidad de tal magnitud obligó a revisar las evaluaciones oficiales. El nivel de riesgo para el escenario CB-1 (creación de amenazas conocidas mediante IA) se elevó retroactivamente de "muy bajo" a "bajo". Un ajuste similar afectó también a la evaluación del riesgo de desalineación en situaciones de alto riesgo.
Cabe señalar que el informe también revela el grado de dependencia de la propia Anthropic de sus sistemas de IA: Claude ya escribe gran parte del código de producción de la empresa. Sin embargo, desde mi punto de vista, este incidente subraya un problema fundamental de toda la industria: incluso los laboratorios líderes con protección multicapa pueden tener "puntos ciegos" en su infraestructura de los que no son conscientes. Es una llamada de atención seria para todo el mercado, que demuestra que la seguridad de la IA no es un conjunto estático de filtros, sino un proceso continuo de auditoría y revisión de las propias suposiciones.