Escándalo de IA en Bristol: La policía desactivó modelos de riesgo para menores debido a su baja precisión
La policía de Avon y Somerset, en colaboración con el ayuntamiento de Bristol, ha dejado de utilizar al menos dos modelos de inteligencia artificial diseñados para evaluar el riesgo de delitos contra menores. El motivo: una precisión de pronóstico críticamente baja y una total opacidad de los algoritmos. Los auditores independientes se encontraron con que el código fuente y la lista de variables utilizadas simplemente no existían, lo que hace imposible verificar los resultados.
Mi análisis muestra que esta situación no es un fallo aislado, sino un problema sistémico en la implementación de la IA en las fuerzas del orden. Cuando los modelos se convierten en una «caja negra», no solo pierden su valor práctico, sino que también conllevan riesgos reputacionales y legales.
Think Family Database: Recopilación de datos sin consentimiento
La base de los modelos fallidos era la base de datos Think Family Database, puesta en marcha en 2016. Esta acumulaba información de casi 500 000 residentes de Bristol, integrando informes policiales, servicios sociales, datos sobre vivienda, salud mental, embarazos adolescentes, absentismo escolar e incluso la recepción de comidas gratuitas. Punto clave: la recopilación se realizó sin el consentimiento directo de los ciudadanos, basándose en normas legales sobre el intercambio de datos entre organismos públicos. Un especialista en datos de la policía describió cínicamente este proceso como «echar todo en un gran cubo».
Sobre esta base se construyeron al menos 23 modelos diferentes de aprendizaje automático, desde la predicción de robos con allanamiento hasta la evaluación del riesgo de ser víctima de violencia doméstica. Paralelamente, funcionaba la aplicación Offender Management App, que, según un oficial superior, servía como base para una «tabla de clasificación» de los delincuentes más peligrosos.
Por qué fracasaron los modelos
Uno de los primeros modelos para evaluar el riesgo de delitos contra menores utilizaba datos de la policía, el ayuntamiento e incluso información anonimizada de la organización benéfica Barnardo's sobre 1000 niños que ya habían sido víctimas de tales delitos. Factores como el estatus de niño necesitado de ayuda, el absentismo escolar constante y los problemas de salud mental influían en la puntuación de riesgo.
Ya en 2016, el comité de ética de la policía advirtió sobre el alto riesgo de sesgo algorítmico. Posteriormente, una auditoría realizada por la organización sin ánimo de lucro Social Finance confirmó los peores temores: la puntuación de riesgo fue considerada el elemento más débil del sistema. La baja precisión socavó por completo el valor práctico de los modelos. En el momento de la revisión, dos de ellos ya habían sido desactivados.
La raíz del problema reside en la degradación de los datos. Al intentar escalar el enfoque a toda la región de Avon y Somerset, la policía no pudo acordar el intercambio de datos con todos los ayuntamientos locales. Como resultado, los modelos perdieron indicadores sociales cruciales, quedándose con un «núcleo policial» que no proporcionaba una imagen adecuada. Los empleados de los servicios municipales se quejaron directamente de que los niños vulnerables no aparecían en los resultados, y que las víctimas menores de edad de delitos recibían una puntuación más baja que los implicados en casos de robos.
Auditoría de Eticas: Precisión inferior al 10%
Los periodistas obtuvieron más de 36 000 evaluaciones de rendimiento de 13 modelos correspondientes a los años 2017-2024. El análisis realizado por la empresa auditora Eticas reveló un panorama catastrófico: la mayoría de los modelos tenían una baja precisión en los aciertos positivos. El sistema marcaba erróneamente como riesgo a una parte significativa de las personas.
Particularmente ilustrativo es el ejemplo del modelo para identificar posibles ladrones con allanamiento. Durante más de tres años, su precisión de aciertos positivos se mantuvo por debajo del 10%. Esto significa que menos de una de cada diez personas señaladas por la IA como una amenaza cometió realmente ese delito. Los auditores subrayaron que tales indicadores son absolutamente atípicos para modelos bien gestionados que están en uso operativo.
La policía intentó justificarse afirmando que algunos modelos, incluida la herramienta para robos, no se habían implementado, y que las evaluaciones de varios años eran el resultado de una verificación automática de un archivo estático no eliminado. El ayuntamiento de Bristol reconoció que actualmente solo utiliza un modelo de riesgo NEET (evaluación de la probabilidad de que un niño no estudie ni trabaje después de la escuela), pero insiste en que este no reemplaza el juicio profesional.
Contexto: PoliceAI y riesgos sistémicos
Este escándalo se desarrolla en el contexto del lanzamiento del centro nacional PoliceAI, al que se han asignado 75 millones de libras esterlinas durante tres años para escalar la IA en las 43 jefaturas de policía de Inglaterra y Gales. Ironía del destino: el centro está dirigido por el exjefe de policía de Avon y Somerset, Andy Marsh, precisamente la región donde ocurrió el fracaso con los modelos de riesgo.
Opinión de experto: El caso de Bristol no es solo una historia sobre código deficiente. Es una demostración clara de que la implementación de la IA en áreas críticas, como la protección infantil, requiere no solo algoritmos perfectos, sino también una gestión de datos impecable, una transparencia absoluta de la metodología y una auditoría independiente obligatoria. Sin estos tres pilares, cualquier modelo, por prometedor que sea, corre el riesgo de convertirse en una herramienta peligrosa e inútil que socava la confianza en la justicia.