Google en un tiempo récord retiró el lanzamiento del generador de imágenes con IA basado en el modelo Nano Banana, integrado en Google Earth. La herramienta duró menos de un día — una retirada tan rápida indica graves fallos en la moderación de contenido durante la fase de pruebas.

La función consistía en añadir cualquier objeto o evento directamente sobre el mapa mediante una solicitud de texto, desde escenas históricas hasta catástrofes hipotéticas. Sin embargo, pocas horas después del lanzamiento, comenzaron a circular en la red imágenes generadas que violaban las normas del servicio. Entre los ejemplos más virales se encuentran falsas capturas de un cráter por explosión en Los Ángeles y del edificio del Capitolio de EE. UU. inundado.

Especialmente preocupante es el hecho de que el modelo no filtraba ni siquiera las solicitudes más sensibles. El investigador de datos abiertos Henk van Ess confirmó en sus propias pruebas: los prompts relacionados con la representación de refugiados en la frontera con México o de instalaciones nucleares en territorio de Irán pasaban sin ningún bloqueo. Esto es una evidencia directa de que el sistema de seguridad estaba desactivado o no había sido calibrado adecuadamente antes del lanzamiento público.

Los desarrolladores explicaron la eliminación del generador alegando que los usuarios publicaban masivamente contenido creado que violaba la política de la plataforma. Sin embargo, esta formulación parece un intento de suavizar el daño reputacional: el problema no radica en el comportamiento de los usuarios, sino en la falta de restricciones integradas a nivel del propio modelo.

Este incidente es otra señal para toda la industria. La prisa por sacar productos de IA al mercado sin mecanismos estrictos de censura produce el efecto contrario: en lugar de atraer audiencia, las empresas reciben una ola de negatividad y se ven obligadas a retirar los lanzamientos. Google debería aprender de este fracaso y, en el futuro, implementar funciones generativas con filtrado multinivel antes de que lleguen a manos de los usuarios.

Mi comentario: La situación es reveladora: incluso un gigante con enormes recursos no puede garantizar la seguridad de las generaciones de IA sin pruebas de estrés previas en escenarios reales. El mercado no espera velocidad, sino fiabilidad — y este caso se convertirá en un ejemplo de estudio en todos los laboratorios que trabajan con modelos generativos.