El sistema de puntuación de niños con IA en Bristol: errores, sesgos y modelos cerrados
La policía de Avon y Somerset, junto con el ayuntamiento de Bristol, dejaron de utilizar al menos dos modelos de aprendizaje automático diseñados para evaluar el riesgo de delitos contra menores. El motivo: una precisión críticamente baja y una total opacidad de los algoritmos. Auditores independientes se enfrentaron a la imposibilidad de verificación: el código fuente y la lista de variables se habían perdido.
La base de estos sistemas era la base de datos Think Family Database, puesta en marcha en 2016. Esta agregaba datos policiales y sociales de casi 500 000 residentes de la ciudad, desde el estado de la vivienda y la salud mental hasta el absentismo escolar y la recepción de comidas gratuitas. La recopilación de información se realizó sin el consentimiento explícito de los ciudadanos, basándose en normas legales de intercambio interdepartamental. Un agente de policía describió este proceso como «echar todo en un gran cubo».
Errores sistémicos y sesgo algorítmico
Ya en 2016, el comité de ética de la policía advirtió que las variables seleccionadas podrían provocar un sesgo algorítmico. Sin embargo, las advertencias fueron ignoradas. Posteriormente, la organización consultora sin ánimo de lucro Social Finance calificó en su informe la puntuación de riesgo como el eslabón más débil del proyecto. Los analistas descubrieron que niños vulnerables que habían sido víctimas recientes de delitos podían obtener una puntuación más baja que los implicados en casos de robos con allanamiento. Los empleados de los servicios municipales declararon abiertamente que no confiaban en el sistema debido a su metodología opaca.
Una auditoría independiente realizada por la empresa Eticas basada en 36 000 evaluaciones de rendimiento de 13 modelos mostró que la precisión de las detecciones positivas en la mayoría de ellos era inferior al 10%. Esto significa que más del 90% de las personas que el sistema señalaba como posibles delincuentes en realidad no habían cometido ningún delito. Para el modelo que identificaba a posibles allanadores, este indicador se mantuvo por debajo del 10% durante más de tres años.
Fracaso en el contexto de la expansión de PoliceAI
Este incidente adquiere especial relevancia en el contexto del lanzamiento de PoliceAI, un centro nacional de pruebas y escalado de herramientas de IA en 43 jefaturas de policía de Inglaterra y Gales con un presupuesto de 75 millones de libras esterlinas. Es destacable que este centro esté dirigido por el exjefe de policía de Avon y Somerset, Andy Marsh, precisamente la región donde se desarrollaron y fueron descartados los controvertidos modelos de IA.
El caso de Bristol no es solo la historia de un algoritmo fallido. Es un fracaso sistémico que demuestra que los riesgos de implementar la IA en el ámbito policial no solo están relacionados con la precisión de los propios modelos, sino también con la calidad de los datos de origen, la falta de transparencia y la imposibilidad de una auditoría independiente. La policía y el ayuntamiento de Bristol, para junio de 2023, ni siquiera habían conservado los documentos sobre la decisión de descartar dos modelos de evaluación de riesgos de delitos contra menores. Esto pone en duda la capacidad de los organismos para gestionar dichas tecnologías y asumir la responsabilidad por ellas.
Opinión de experto: La historia de los modelos de IA de Bristol es un ejemplo clásico de cómo el afán por la modernización tecnológica sin un control adecuado de la calidad de los datos y la transparencia algorítmica conduce al descrédito de la propia idea de utilizar la IA en ámbitos socialmente relevantes. Mientras las jefaturas de policía no aprendan a llevar una documentación básica y no garanticen la posibilidad de una auditoría externa, cualquier discurso sobre una IA «segura» y «ética» seguirá siendo una declaración vacía.