Alucinaciones de IA en un informe para el gobierno de Australia: cómo enlaces falsos fundamentaron la prohibición de las redes sociales
El documento clave que las autoridades australianas utilizaron como justificación para prohibir las redes sociales para adolescentes resultó estar plagado de referencias a trabajos científicos inexistentes. Esta es una señal alarmante para toda la industria: cuando las decisiones regulatorias se basan en datos generados por redes neuronales, no solo se ve afectada la reputación de un informe concreto, sino también la confianza en el propio proceso de creación de leyes.
Las pruebas de las tecnologías de verificación de edad fueron realizadas por la organización británica Age Check Certification Scheme (ACCS). Para estos fines se gastaron 3,48 millones de dólares australianos (~2,5 millones de USD). Los especialistas examinaron más de 60 soluciones de 48 proveedores y en agosto de 2025 entregaron al gobierno el documento final de unas mil páginas en diez volúmenes. Entonces, la ministra de Comunicaciones, Anika Wells, declaró que los datos confirmaban la existencia de «múltiples herramientas eficaces» para la verificación de edad. La prohibición en sí para usuarios menores de 16 años entró en vigor el 10 de diciembre de 2025.
Seis referencias con errores
La mayor parte del informe se centra en las pruebas prácticas de las soluciones existentes. Los problemas salieron a la luz en el capítulo sobre desarrollos prometedores, donde los autores recurren a la literatura científica. El primero en señalar las inconsistencias fue el autor de una presentación ante el comité del Senado que examina las enmiendas para endurecer la prohibición. El documento afirma que al menos dos referencias parecen típicas «alucinaciones» de la IA.
Mi verificación reveló en el mismo capítulo seis irregularidades que se agrupan en cuatro categorías:
- DOIs ficticios;
- DOIs que redirigen a trabajos ajenos;
- combinaciones de «autor-revista-año» no respaldadas por ninguna publicación;
- referencias correctas a artículos, pero sin las afirmaciones que el informe les atribuye.
Por ejemplo, ACCS fechó un artículo en marzo de 2025, pero en realidad solo se publicó en julio. En otro caso, la referencia a Weber et al. 2011 no conducía a ninguna parte: no se encontró ni en la revista indicada ni en el estudio de la Universidad de Monash.
ChatGPT en los metadatos
Un representante de ACCS negó categóricamente el uso de IA en la preparación del documento. Sin embargo, después de que en algunas partes del informe se descubrieran cuatro referencias con metadatos que apuntaban directamente a ChatGPT, la postura tuvo que suavizarse. En ACCS reconocieron que la inteligencia artificial reescribió fragmentos individuales por brevedad, pero insistieron en que la investigación en sí se creó sin la participación del chatbot de OpenAI. Los representantes de la organización declararon que los metadatos de ChatGPT son por sí mismos una notificación suficiente del uso de IA.
Sin embargo, la verificación de la lista corregida de fuentes reveló nuevas discrepancias: los años, los autores y los nombres de las revistas no coincidían con las citas originales del informe.
«Un puñado de errores» en mil páginas
El Departamento de Infraestructura y Comunicaciones informó que está estudiando las quejas. En las audiencias del Senado, los funcionarios transmitieron la versión de ACCS: según ellos, las referencias funcionaban en el momento de la publicación y se «rompieron» más tarde. La primera asistente del secretario, Sarah Vandenbroek, aclaró que el departamento no verificó esta versión de forma independiente y considera que dicha verificación es «laboriosa».
El profesor de la Universidad Nacional de Australia, Christian Downie, advirtió que las referencias falsas conducen a decisiones erróneas y destruyen la confianza en las instituciones. La senadora independiente Fatima Payman exigió disculpas oficiales y la devolución de los fondos por parte del contratista. Recordó que un incidente similar con Deloitte hace un año debería haber enseñado a las autoridades a ser más cuidadosas con las fuentes. En octubre de 2025, la consultora ya devolvió parte de los pagos de un contrato de 440 000 dólares australianos, reconociendo el uso de IA.
Mi evaluación experta: Esta situación es solo la punta del iceberg. Cuando las estructuras estatales toman decisiones basadas en informes donde se utiliza IA sin un control adecuado, corremos el riesgo de obtener toda una capa de actos regulatorios construidos sobre datos ficticios. La industria necesita estándares estrictos de verificación de fuentes; de lo contrario, la confianza en las iniciativas digitales se verá socavada definitivamente.