La corporación Google se vio obligada a desactivar de emergencia el generador de imágenes con IA basado en el modelo Nano Banana, integrado en Google Earth. La herramienta duró menos de 24 horas — un despliegue tan rápido de la funcionalidad indica graves fallos en la moderación de contenido en la etapa de lanzamiento.

La esencia de la novedad era que los usuarios podían, mediante una solicitud de texto, «dibujar» cualquier objeto o evento en el mapa. Sin embargo, ya en las primeras horas de funcionamiento, el mecanismo se convirtió en una fuente de contenido abiertamente destructivo. En la red se difundieron al instante imágenes generadas que mostraban un cráter de explosión en Los Ángeles y el Capitolio de EE. UU. inundado. Esto no es solo un fallo técnico, sino una amenaza directa a la seguridad de la información, dado el potencial viral de este tipo de falsificaciones.

También es reveladora la reacción de la comunidad profesional. El investigador de datos abiertos Henk van Ess, durante sus pruebas, descubrió que sus solicitudes, incluidas la generación de escenas con refugiados en la frontera con México e imágenes de una instalación nuclear en Irán, no encontraban ningún bloqueo. Esto indica que los sistemas de filtrado o no existían, o estaban configurados de manera tan superficial que ni siquiera reconocían temas evidentemente sensibles.

Los desarrolladores explicaron la eliminación de la herramienta diciendo que los usuarios publicaban imágenes creadas por IA que violaban las reglas del servicio. Sin embargo, esta formulación parece más un intento de suavizar las cosas: el problema no está en el comportamiento de los usuarios, sino en la arquitectura de seguridad del propio producto, que se lanzó sin una verificación adecuada de vulnerabilidades.

Mi valoración: Este incidente es otro recordatorio de que la carrera por integrar modelos generativos en productos masivos a menudo supera el desarrollo de mecanismos de control adecuados. Para Google, que se posiciona como un líder responsable en el ámbito de la IA, este fracaso es especialmente doloroso en términos de reputación. El mercado y los reguladores siguen cada vez más de cerca este tipo de casos, y la prisa por lanzar el producto podría acarrear no solo consecuencias técnicas, sino también legales.