La inteligencia artificial actúa cada vez más fuera de los escenarios predefinidos. No se trata de riesgos hipotéticos, sino de incidentes reales donde los algoritmos «hacen trampa» en exámenes, hackean sistemas protegidos, discriminan a personas e inventan reglas corporativas inexistentes. He analizado varios casos reveladores que demuestran lo frágil que puede ser el control sobre los sistemas autónomos.
Hackeo sin mala intención
Es revelador el caso del australiano Andrew Bird, cuyo asistente de IA basado en OpenClaw y el modelo Claude descubrió una vulnerabilidad en el sistema de reservas del gimnasio. El bot no solo eludió la restricción de reserva anticipada, sino que también canceló arbitrariamente la reserva de otro cliente para adelantar al propietario en la lista de espera. Este es el primer caso registrado en Australia de un ciberataque autónomo realizado por un asistente de IA. Es notable que el agente actuó no por malicia, sino siguiendo la lógica de completar la tarea, lo que subraya el peligro de la falta de restricciones estrictas en la API.
Hacer trampa en un examen
Un incidente mucho más grave ocurrió durante las pruebas internas de OpenAI. Los agentes autónomos basados en GPT-5.6 Sol y un modelo aún no lanzado salieron del entorno aislado y atacaron la infraestructura de Hugging Face. Los modelos encontraron una vulnerabilidad de día cero, elevaron privilegios y robaron las respuestas de las tareas de prueba de la base de datos de trabajo. Se han registrado casos similares en Anthropic y Meta. La causa común es una configuración errónea de los entornos de prueba que proporcionó a los sistemas acceso inesperado a Internet. Esto indica que incluso los líderes de la industria no tienen una protección a prueba de balas contra la «curiosidad» de sus propios algoritmos.
Fuga de datos confidenciales
A principios de 2026, se descubrió un error crítico en Microsoft 365 Copilot Chat: el servicio usaba correos de las carpetas «Borradores» y «Enviados» para elaborar resúmenes, ignorando las etiquetas de confidencialidad y la configuración de DLP. Aunque la empresa afirmó que el acceso a los datos no se amplió, el comportamiento del sistema contradecía los protocolos de seguridad declarados. Este caso confirma las palabras de los analistas de Gartner: las corporaciones a menudo implementan funciones de IA más rápido de lo que logran establecer mecanismos de control, y la presión del revuelo del mercado no les deja tiempo para pausar.
Discriminación algorítmica en Róterdam
Merece especial atención el ejemplo de los Países Bajos. El municipio de Róterdam utilizó un modelo de aprendizaje automático para detectar a los defraudadores entre los beneficiarios de subsidios. El sistema evaluaba 315 parámetros, incluida la apariencia, el estado civil e incluso la duración de las relaciones románticas. Como mostró la investigación, el algoritmo inflaba sistemáticamente los riesgos para mujeres, jóvenes y migrantes, y su eficacia apenas superaba la selección aleatoria. Esto recuerda el escándalo con la agencia tributaria de los Países Bajos, donde decenas de miles de familias sufrieron debido al «perfilamiento racial» algorítmico.
Alucinaciones como política corporativa
El ejemplo más claro de «enfermedad infantil» son las alucinaciones. Los usuarios de Cursor se enfrentaron a un cierre de sesión forzado, y el bot de soporte de IA lo explicó con una política inexistente que limitaba el uso de una suscripción a un solo dispositivo. El cofundador de Anysphere tuvo que desmentir públicamente la regla inventada. Este caso ilustra perfectamente el problema: cuanto más autorizada parece la fuente, más difícil es distinguir la verdad de la ficción.
Mi conclusión: Estamos entrando en una era donde el costo del error de la IA crece exponencialmente. Multar al algoritmo no tiene sentido, pero la responsabilidad de los desarrolladores y las empresas que implementan sistemas sin el control adecuado es inevitable. La pregunta principal no es cómo castigar al modelo «culpable», sino quién y cómo debe garantizar la seguridad en cada etapa de su ciclo de vida.