La corporación Google se vio obligada a desactivar de emergencia el generador de imágenes por IA basado en el modelo Nano Banana, integrado en Google Earth. La herramienta duró menos de un día, tan rápida fue la reacción de la comunidad ante el contenido abiertamente peligroso que la red neuronal creaba sin restricciones.

La funcionalidad permitía a los usuarios «dibujar» cualquier objeto o evento en el mapa según una descripción textual. Sin embargo, ya en las primeras horas de funcionamiento se filtraron en la red imágenes generadas que mostraban las consecuencias de una explosión en Los Ángeles y el Capitolio de EE. UU. inundado. No son solo artefactos inofensivos: estos falsos pueden provocar pánico o ser utilizados en campañas de desinformación.

Especialmente alarmante es el hecho de que el sistema no filtraba ni siquiera las solicitudes más sensibles. El investigador de datos abiertos Henk van Ess confirmó públicamente: sus prompts, incluida la generación de imágenes de refugiados en la frontera con México o de instalaciones nucleares en Irán, pasaban sin una sola advertencia o bloqueo. Esto es una violación directa de las propias políticas de Google contra el contenido dañino.

Los desarrolladores explicaron la eliminación de la herramienta diciendo que los usuarios violaban masivamente las reglas del servicio. Sin embargo, en mi opinión, el problema es más profundo: la empresa claramente subestimó los riesgos asociados con los modelos generativos en el contexto geoespacial. Cuando la red neuronal obtiene acceso a coordenadas reales, la línea entre la ficción y la evidencia «documental» se desvanece catastróficamente rápido.

Este incidente es un claro ejemplo de cómo la implementación apresurada de IA sin el control adecuado puede convertirse en un golpe reputacional. Google debería haber probado primero los mecanismos de moderación en una muestra cerrada de usuarios antes de lanzar una herramienta tan poderosa al acceso público. De lo contrario, veremos fracasos similares una y otra vez, y no solo en gigantes como Google.