Fallo en Bristol: La policía desactivó modelos de IA para predecir delitos contra menores debido a errores fatales
La policía de Avon y Somerset, junto con el ayuntamiento de Bristol, se vio obligada a suspender el uso de al menos dos algoritmos de aprendizaje automático diseñados para evaluar el riesgo de delitos contra menores. El motivo: una precisión catastróficamente baja y una total opacidad de los sistemas, que resultaron prácticamente imposibles de auditar de forma independiente.
En el transcurso de una amplia investigación periodística que abarcó cientos de páginas de documentos internos, se reveló un panorama impactante. La raíz del problema residía en la base de datos Think Family Database, puesta en marcha en 2016. Este monstruo digital recopilaba información de casi 500 000 residentes de Bristol, combinando informes policiales, datos sobre situación de vivienda, salud mental, asistencia escolar e incluso información sobre la recepción de comidas gratuitas. Todo ello se hacía sin el consentimiento directo de los ciudadanos, amparándose en fundamentos legales para el intercambio interinstitucional.
Sobre esta base de datos se construyeron 23 modelos de aprendizaje automático, desde la predicción de robos con allanamiento hasta la evaluación del riesgo de ser víctima de violencia doméstica. Sin embargo, fueron precisamente los modelos para la protección infantil los que fallaron. En ellos, además de los datos policiales y sociales, se incluyó información anonimizada de 1000 menores víctimas de delitos, procedente de la organización benéfica Barnardo's. Los algoritmos tenían en cuenta el estatus de menor necesitado de ayuda, las ausencias escolares crónicas y los problemas de salud mental.
Colapso ético y "caja negra"
Ya en 2016, el comité de ética policial advirtió sobre el riesgo de sesgo algorítmico, pero sus recomendaciones fueron ignoradas. Posteriormente, la consultora independiente Social Finance realizó una evaluación demoledora: la puntuación de riesgo fue calificada como el eslabón más débil del proyecto. Se descubrió que la calidad de los modelos se deterioró drásticamente cuando la policía intentó escalar el sistema a toda la región, pero no logró acordar el intercambio de datos con todos los ayuntamientos locales. Como resultado, los algoritmos perdieron indicadores sociales críticamente importantes y comenzaron a basarse principalmente en datos policiales.
Los empleados de los servicios municipales de Bristol se quejaron abiertamente de que el sistema ponía en riesgo a los más vulnerables. Uno de los trabajadores describió un caso flagrante: menores que recientemente habían sido víctimas de delitos obtenían una puntuación de riesgo más baja que los implicados en casos de robos. Otros se negaban a confiar en las evaluaciones debido a la total opacidad de la metodología. Una auditoría realizada por la empresa Eticas por encargo de los periodistas confirmó los peores temores: la mayoría de los modelos tenían una precisión de aciertos positivos críticamente baja. Por ejemplo, el modelo para identificar posibles allanadores mostró durante más de tres años una precisión inferior al 10%, es decir, el sistema "etiquetaba" erróneamente a más del 90% de las personas.
Lecciones para PoliceAI
Este incidente es un oscuro presagio ante el lanzamiento del centro nacional PoliceAI con un presupuesto de 75 millones de libras esterlinas. La ironía del destino es que el centro está dirigido por el exjefe de policía de Avon y Somerset, Andy Marsh, bajo cuyo mandato se desarrollaron estos controvertidos modelos. El caso de Bristol demuestra claramente que el principal peligro de la IA en el sistema de justicia penal no reside en los propios algoritmos, sino en la "basura" de entrada: datos de mala calidad, falta de transparencia e imposibilidad de verificación independiente.
Opinión de experto: La historia de Bristol es un ejemplo clásico de cómo la fe ciega en la tecnología, sin un control adecuado de la calidad de los datos y las normas éticas, produce el efecto contrario. El sistema diseñado para proteger a los menores se convirtió en una fuente de injusticia y desconfianza. Si PoliceAI no aprende de esta lección, se corre el riesgo de que millones de libras de los contribuyentes se gasten en crear una "caja negra" aún más grande y peligrosa.