Fracaso de la justicia algorítmica: Bristol desactivó los modelos de IA de evaluación de riesgo de delitos contra menores debido a una precisión catastrófica
La policía de Avon y Somerset, junto con el ayuntamiento de Bristol, dejaron de utilizar al menos dos modelos de inteligencia artificial diseñados para evaluar el riesgo de delitos contra menores. El motivo: una precisión críticamente baja y una total opacidad de los algoritmos. Auditores independientes no pudieron encontrar ni el código fuente ni siquiera la lista completa de variables utilizadas en los sistemas.
Durante una investigación periodística basada en cientos de páginas de documentos obtenidos mediante solicitudes de acceso a la información, se revelaron problemas sistémicos. Esta historia se desarrolla en el contexto del lanzamiento del centro nacional PoliceAI, destinado a probar y escalar herramientas de IA en 43 jefaturas de policía de Inglaterra y Gales.
Base de datos Think Family: un "gran cubo" sin consentimiento
En el centro del problema se encuentra la base de datos Think Family, lanzada en 2016. Esta integraba datos policiales y sociales sobre familias, incluyendo estado de vivienda, información sobre salud mental, embarazos adolescentes, absentismo escolar e incluso el hecho de recibir comedor escolar gratuito. Se estima que la base de datos podría contener registros de casi 500,000 residentes, recopilados sin el consentimiento directo de las personas, basándose en normas legales generales sobre el intercambio de información entre organismos públicos. Un especialista en datos de la policía describió cínicamente este enfoque como "echar todo en un gran cubo".
Sobre esta base se construyeron al menos 23 modelos de aprendizaje automático, desde la predicción de robos con allanamiento hasta la evaluación del riesgo de ser víctima de violencia doméstica. Sin embargo, fueron los modelos para evaluar el riesgo de delitos contra menores los que mostraron un peor rendimiento.
Fracaso en todos los frentes: del sesgo a la desaparición del código
Ya en 2016, el comité de ética policial advirtió sobre el alto riesgo de sesgo algorítmico debido a las variables seleccionadas. El modelo incluía, por ejemplo, el estatus del menor como necesitado de ayuda y problemas de salud mental, lo que podría crear un círculo vicioso de estigmatización. Posteriormente, la organización consultora sin ánimo de lucro Social Finance, en su revisión, calificó la puntuación de riesgo como el elemento más débil del proyecto, señalando que la baja precisión había socavado por completo el valor práctico de los modelos.
El intento de escalar el sistema a todo el territorio de Avon y Somerset solo agravó la situación. Debido a la imposibilidad de acordar el intercambio de datos con todos los ayuntamientos locales, los indicadores sociales desaparecieron de los modelos, dejando solo el "núcleo" policial. Como resultado, los trabajadores de servicios sociales se quejaron de que menores vulnerables víctimas de delitos recibían una puntuación de riesgo más baja que los implicados en casos de robos. Una auditoría realizada por la empresa Eticas mostró que la precisión de las detecciones positivas en la mayoría de los modelos era inferior al 10%. Esto significa que el sistema etiquetaba erróneamente como "de riesgo" a más de nueve de cada diez personas. Para el momento de la revisión de Social Finance, el código fuente y la documentación de los modelos ya se habían perdido.
Conclusiones y perspectivas
El caso de Bristol no es solo una historia de fallo algorítmico. Es una demostración de los riesgos fundamentales asociados con la implementación de la IA en ámbitos sociales críticos. El problema no radica solo en la precisión, sino también en la transparencia, la calidad de los datos y la posibilidad de una auditoría independiente. Es revelador que el director del nuevo centro nacional PoliceAI, el exjefe de policía de Avon y Somerset, supervisara anteriormente precisamente la jurisdicción donde estos controvertidos modelos se desarrollaron y utilizaron.
Comentario de Cryptalist: Este caso es un duro recordatorio de que la "caja negra" de los algoritmos en manos del Estado puede ser más peligrosa que la delincuencia que pretende prevenir. Mientras reguladores y la opinión pública debaten sobre el futuro de la IA, las comisarías de todo el mundo ya están llevando a cabo peligrosos experimentos con vidas humanas. La historia de Bristol no debe ser solo una advertencia, sino un catalizador para la introducción de estándares estrictos de auditoría y transparencia para todos los sistemas de IA gubernamentales.