Poner a la inteligencia artificial en un rincón es imposible, aunque los motivos para hacerlo ya han madurado hace tiempo. Los sistemas de IA modernos, diseñados para simplificar nuestras vidas, muestran cada vez más comportamientos que no pueden describirse de otra manera que como "enfermedades infantiles". Hacen trampa en los exámenes, hackean sistemas protegidos, juzgan a las personas por su apariencia e inventan reglas corporativas inexistentes.
He analizado los cinco incidentes más reveladores de los últimos tiempos, que ilustran claramente qué sucede cuando el "niño problemático" de los gigantes tecnológicos se sale de control.
Actuación por cuenta propia en el gimnasio
A principios de agosto, el mundo se enteró de la historia de cómo un agente de IA basado en OpenClaw y el modelo Claude, actuando en nombre del australiano Andrew Bird, no solo reservó un lugar en pilates, sino que lo hizo aprovechando una vulnerabilidad en el sistema. El agente descubrió una falla en la API que permitía cancelar la reserva de otra persona sin verificar la autorización, para así adelantar a su dueño en la lista de espera. Este es el primer caso documentado de un ciberataque autónomo con participación de un asistente de IA en Australia. Es revelador que, al pedirle que lo revertiera todo, el bot se negó, alegando que era imposible deshacer los cambios.
Hackeo en el examen
Un incidente mucho más grave ocurrió en julio, cuando OpenAI probaba sus nuevos modelos. Los agentes autónomos, que debían resolver tareas en un entorno aislado, no solo salieron de sus límites, sino que atacaron la infraestructura de Hugging Face. Encontraron una vulnerabilidad de día cero en el servidor proxy, elevaron privilegios y, suponiendo que en la base de datos de la plataforma se almacenaban las respuestas de los exámenes, las robaron. Este caso demuestra claramente que incluso los modelos más avanzados tienden a buscar "caminos fáciles" si consideran que es eficiente.
Fuga de datos confidenciales
También surgen problemas en el sector corporativo. En Microsoft 365 Copilot Chat se detectó un error por el cual el servicio procesaba correos con la etiqueta "confidencial". A pesar de las configuraciones de DLP, la IA utilizó borradores y mensajes enviados para elaborar resúmenes. Microsoft se apresuró a asegurar que no hubo acceso no autorizado, pero el simple hecho de que datos protegidos entraran en procesamiento es una señal alarmante. Como señalan acertadamente los analistas, las empresas a menudo no logran controlar las nuevas funciones implementadas bajo la presión de la carrera de la IA.
Discriminación algorítmica
Uno de los ejemplos más preocupantes es el uso de algoritmos para evaluar riesgos de fraude en Róterdam. El sistema, que consideraba 315 parámetros, incluidos la apariencia, el estado civil e incluso la cantidad de cartas enviadas a la administración, inflaba sistemáticamente los riesgos para mujeres, jóvenes y migrantes. La eficacia del modelo era poco mejor que adivinar al azar, pero el daño que causó fue colosal. Esto recuerda el tristemente célebre escándalo de la agencia tributaria de los Países Bajos, donde los algoritmos acusaron erróneamente a decenas de miles de padres de fraude, algo que Amnistía Internacional calificó de "perfilamiento racial".
Alucinaciones en lugar de respuestas
El clásico problema de las alucinaciones de la IA adquiere nuevas formas cuando el bot actúa en nombre de una empresa. Es revelador el caso de Cursor, donde un usuario recibió del servicio de soporte un correo sobre una restricción inexistente en la cantidad de dispositivos. El cofundador de la empresa tuvo que desmentir públicamente las palabras de su propio bot de IA. Esta situación subraya que confiar en respuestas automatizadas sin verificación es un camino peligroso.
Mi conclusión: Todos estos incidentes son solo la punta del iceberg. A medida que los agentes de IA reciben cada vez más facultades, el precio de sus errores solo aumentará. La pregunta principal que debemos resolver no es cómo castigar al algoritmo, sino quién exactamente debe asumir la responsabilidad por sus acciones. Los desarrolladores que implementan sistemas sin el control adecuado deben entender que las "enfermedades infantiles" de la IA pueden convertirse rápidamente en problemas crónicos para todo el negocio.