Fallo en Bristol: modelos de IA para evaluar el riesgo de delitos contra menores desactivados debido a errores fatales
Las autoridades de Bristol y la policía de los condados de Avon y Somerset se han visto obligadas a retirar el uso de al menos dos modelos de inteligencia artificial diseñados para evaluar el riesgo de delitos contra menores. El motivo: una precisión catastróficamente baja y una total opacidad de los algoritmos, que los auditores independientes no pudieron verificar debido a la falta de código fuente y de la lista de variables.
Cómo funcionaba el sistema y por qué fallaba
La base era la base de datos Think Family Database, puesta en marcha por el ayuntamiento de Bristol en 2016. Esta integraba informes policiales y datos sociales, desde el estado de la vivienda y problemas de salud mental hasta información sobre absentismo escolar y comidas gratuitas. Se estima que la base de datos podía contener registros de casi 500 000 residentes, y la recopilación de datos se realizaba sin el consentimiento directo de los ciudadanos, basándose en normas legales sobre el intercambio de información entre organismos públicos.
Sobre esta base se construyeron 23 modelos de aprendizaje automático, incluyendo la predicción de robos, incomparecencias judiciales y riesgo de violencia doméstica. Sin embargo, fueron los modelos para evaluar la amenaza a los menores los que resultaron más vulnerables. En ellos, además de los datos policiales y municipales, se cargaron datos anonimizados de la organización benéfica Barnardo's sobre 1000 menores que ya habían sido víctimas de delitos. La puntuación final se veía influida por factores como el estatus de menor necesitado de ayuda, el absentismo escolar crónico y los trastornos mentales.
Ya en 2016, el comité de ética policial advirtió sobre el riesgo de sesgo algorítmico debido a las variables seleccionadas. Posteriormente, una auditoría realizada por la consultora Social Finance confirmó los peores temores: la precisión de los modelos fue calificada como el "eslabón más débil" y su valor práctico, dudoso. En el momento de la auditoría, ambos modelos ya habían sido desactivados.
Problemas con los datos y falta de control
Social Finance vinculó la degradación de la calidad de los modelos con el cambio en el conjunto de datos. Al intentar escalar el sistema a toda la región de Avon y Somerset, la policía no pudo acordar el intercambio de datos con todos los ayuntamientos locales. Como resultado, los indicadores sociales desaparecieron de los modelos y los algoritmos comenzaron a funcionar principalmente con un "núcleo policial", lo que los hizo aún menos fiables.
Los empleados de los servicios municipales de Bristol se quejaron de que los menores vulnerables no aparecían en los resultados. En uno de los informes se señalaba que los menores que habían sido víctimas recientes de delitos podían obtener una puntuación de riesgo más baja que los implicados en casos de robo. Otros empleados declararon abiertamente que no estaban dispuestos a confiar en las evaluaciones debido a la total opacidad de la metodología.
Una auditoría independiente realizada por la empresa Eticas, basada en 36 000 evaluaciones de rendimiento de 13 modelos, mostró que la mayoría de ellos tenían una precisión de aciertos positivos extremadamente baja. Por ejemplo, un modelo para identificar posibles ladrones mostró durante más de tres años una precisión inferior al 10%, lo que significa que el sistema marcaba erróneamente como riesgo a más del 90% de las personas. La policía explicó que el modelo no se había implementado y que las evaluaciones eran el resultado de una verificación automática de un "archivo estático".
Contexto y mi experiencia
Este incidente ocurre en el contexto del lanzamiento del centro nacional PoliceAI con un presupuesto de 75 millones de libras esterlinas, cuyo objetivo es escalar las herramientas de IA para 43 jefaturas de policía de Inglaterra y Gales. Es significativo que este centro esté dirigido por el exjefe de policía de Avon y Somerset, la misma región donde se produjo este fracaso.
Mi opinión profesional: La historia de Bristol es un ejemplo clásico de cómo la prisa por implementar la IA en áreas críticas, como la protección infantil, termina desacreditando la propia tecnología. El problema aquí no es una IA "mala", sino un error sistémico en la gestión de datos: el uso de muestras no representativas, la falta de transparencia y control sobre la calidad de las variables iniciales. Si PoliceAI no aprende estas lecciones, corre el riesgo de escalar no la eficiencia, sino los errores sistémicos a todo el país.