La corporación Google desactivó de emergencia su nueva herramienta de inteligencia artificial para generar imágenes en Google Earth, que estaba integrada en la plataforma basada en el modelo Nano Banana. La función duró menos de 24 horas — una retirada tan rápida indica serios fallos en la moderación de contenido.
La innovación permitía a los usuarios, mediante solicitudes de texto, «completar» objetos o eventos arbitrarios directamente en los datos cartográficos. Sin embargo, ya en las primeras horas de funcionamiento del servicio, comenzaron a difundirse en la red imágenes generadas por IA que violaban las políticas de la plataforma. Entre los ejemplos más resonantes se encuentran falsas imágenes de un cráter por explosión en Los Ángeles y del edificio del Capitolio inundado en Washington.
Especialmente preocupante es el hecho de que el sistema no filtraba ni siquiera solicitudes potencialmente peligrosas. El investigador de datos abiertos Henk van Ess confirmó que sus indicaciones, incluyendo la visualización de refugiados en la frontera con México o la imagen de una instalación nuclear en Irán, pasaban sin ninguna restricción. Esto pone en duda la eficacia de los algoritmos de seguridad que Google implementa en sus productos generativos.
Los desarrolladores explicaron la eliminación de la función por la violación de las reglas del servicio por parte de los usuarios, pero, a juzgar por la velocidad de la reacción, el problema es más profundo — se trata de la falta fundamental de preparación del modelo de IA para trabajar con datos geoespaciales, donde el contexto y la sensibilidad son de importancia crítica.
Mi análisis: Este incidente es otra prueba de que la carrera por implementar IA generativa en productos masivos supera el desarrollo de los sistemas de control. Google se enfrentó nuevamente a un dilema: la velocidad de salida al mercado frente a los riesgos reputacionales. Es revelador que incluso gigantes como Google no puedan prever todos los escenarios de abuso, especialmente cuando se trata de la visualización de objetos geográficos reales. El mercado necesita estándares más estrictos de verificación de contenido antes de que dichas herramientas estén disponibles para un público amplio.