La corporación Google se vio obligada a desactivar de emergencia su nuevo generador de imágenes con IA, integrado en Google Earth basado en el modelo Nano Banana. La herramienta duró menos de 24 horas: una retirada tan rápida evidencia graves fallos en la moderación de contenido.

La función consistía en que, a partir de una solicitud de texto del usuario, se dibujaran objetos o eventos arbitrarios en cualquier punto del mapa. Sin embargo, en las primeras horas tras su lanzamiento, comenzaron a difundirse en la red imágenes falsas generadas por la red neuronal, que mostraban, por ejemplo, un cráter de explosión en Los Ángeles o el Capitolio de EE. UU. inundado. Dicho contenido viola gravemente las normas del servicio, lo que se convirtió en el motivo formal para su desactivación.

Es reveladora la reacción del investigador de datos abiertos Henk van Ess, quien durante sus pruebas descubrió que sus solicitudes —desde crear una imagen de refugiados en la frontera con México hasta visualizar una instalación nuclear en Irán— no eran bloqueadas por el sistema en absoluto. Esto apunta directamente a la ausencia de filtros de seguridad adecuados en la fase de lanzamiento inicial.

La situación demuestra una vez más el problema fundamental de los grandes modelos de lenguaje: los algoritmos generativos, entrenados con enormes conjuntos de datos, no son capaces de evaluar por sí mismos el contexto ético y político de sus "creaciones". Para Google, que promueve activamente sus soluciones de IA en los segmentos corporativo y de consumo, este incidente es un golpe reputacional que podría llevar a la empresa a reconsiderar el ritmo de implementación de funciones similares en sus servicios geoespaciales.

Mi opinión: Esto no es un fallo aislado, sino una tendencia sistémica. Mientras los desarrolladores prioricen la velocidad de salida al mercado sobre la calidad de la censura, estos incidentes se repetirán. La lección para toda la industria es simple: antes de dar acceso a la IA a datos geoespaciales, es necesario reforzar diez veces los mecanismos de filtrado de contenido; de lo contrario, la confianza de los usuarios se verá socavada definitivamente.