Fracaso de la IA en Bristol: la policía desactivó modelos de predicción de delitos contra menores debido a una precisión catastrófica
La policía de Avon y Somerset, junto con el ayuntamiento de Bristol, se ha visto obligada a abandonar el uso de al menos dos modelos de inteligencia artificial diseñados para evaluar el riesgo de delitos contra menores. El motivo: baja precisión y total opacidad de los algoritmos. Los auditores independientes no lograron encontrar ni el código fuente ni siquiera la lista de variables utilizadas, lo que hace imposible cualquier verificación del funcionamiento de los sistemas.
En el centro del escándalo se encuentra la base de datos Think Family Database, puesta en marcha por el ayuntamiento de Bristol en 2016. Esta acumuló información de casi 500 000 residentes, incluyendo datos policiales, de servicios sociales, información sobre salud mental, situación de vivienda, asistencia escolar e incluso participación en cursos para padres. La recopilación de datos se realizó sin el consentimiento directo de los ciudadanos, basándose en normas legales sobre el intercambio de información entre organismos públicos.
Cómo funcionaban y por qué fracasaron los modelos
Sobre la base de esta base de datos se construyeron 23 modelos de aprendizaje automático, incluidos aquellos que predecían robos, riesgo de violencia doméstica y, lo más crítico, delitos contra menores. Uno de los modelos para evaluar el riesgo en relación con los niños utilizó datos anonimizados de la organización benéfica Barnardo's sobre 1000 menores ya víctimas. Como factores de riesgo se consideraron el estado de niño necesitado de ayuda, el absentismo escolar y los problemas de salud mental.
Ya en 2016, el comité de ética policial advirtió sobre el alto riesgo de sesgo algorítmico debido a las variables seleccionadas. Posteriormente, una auditoría realizada por la organización consultora sin ánimo de lucro Social Finance confirmó los peores temores: la precisión de los modelos fue considerada el eslabón más débil, socavando por completo su valor práctico. Social Finance vinculó la degradación de la calidad con el cambio en el conjunto de datos. Al intentar escalar los modelos a cinco ayuntamientos locales, la policía no pudo acordar el intercambio de datos sociales, y finalmente los modelos se basaron únicamente en el "núcleo" policial, perdiendo indicadores sociales críticamente importantes.
Auditoría de Eticas: precisión inferior al 10%
Un análisis independiente realizado por la empresa auditora Eticas basado en 36 000 evaluaciones de rendimiento reveló que la mayoría de los modelos tenían una precisión extremadamente baja en los aciertos positivos. Por ejemplo, el modelo para identificar posibles ladrones mostró durante más de tres años una precisión inferior al 10%, es decir, menos de una de cada diez personas señaladas por el sistema cometió realmente un delito. Los auditores subrayaron que estos indicadores son absolutamente atípicos para modelos gestionados profesionalmente que se encuentran en uso operativo.
Los empleados de los servicios municipales se quejaron de que el sistema pasaba por alto a niños vulnerables, mientras que los implicados en casos de robos podían obtener puntuaciones de riesgo más altas. Otros trabajadores declararon abiertamente que no estaban dispuestos a confiar en las evaluaciones debido a la total opacidad de la metodología.
Mi análisis: Este caso no es solo una historia sobre un fallo de la IA. Es un claro ejemplo de cómo las ambiciones de implementar tecnología en áreas sensibles, como la protección infantil, pueden verse frustradas por el descuido de principios fundamentales de la ciencia de datos: calidad de los datos, reproducibilidad y transparencia. La ausencia de código fuente y documentos sobre la toma de decisiones no es un descuido técnico, sino un fracaso sistémico de gestión que pone en tela de juicio cualquier futura iniciativa de PoliceAI.