Nueve potentes tarjetas gráficas en un garaje — y una inspección internacional. Y si algún país se atreve a construir un gran centro de datos al margen de una prohibición global, los demás deben estar preparados para destruirlo mediante un sabotaje o un ataque aéreo, incluso bajo la amenaza de una respuesta nuclear. Esto no es el guion de una distopía, sino un proyecto para salvar a la humanidad, expuesto por Eliezer Yudkowsky y Nate Soares en su nuevo libro «Si alguien lo crea, todos moriremos» (cuya traducción al ruso se publicó el 18 de junio en la editorial Corpus).
A primera vista, los autores están movidos por un noble temor hacia la superinteligencia. Desean sinceramente proteger a las generaciones futuras de una amenaza que, según ellos, eclipsa incluso una guerra nuclear. Sin embargo, como analista, veo detrás de esta filantropía un programa que en sí mismo conlleva un peligro no menor: el control total sobre la computación, la criminalización de campos científicos enteros y la coerción por la fuerza.
Temor y temblor: del sueño a la pesadilla
Yudkowsky, fundador de MIRI (Instituto de Investigación de Inteligencia de Máquinas), ha recorrido un largo camino desde ser un entusiasta de la creación de la superinteligencia hasta convertirse en su principal «cazador». Su biografía está estrechamente entrelazada con la historia de la industria: fue él quien presentó a los futuros fundadores de DeepMind con su primer gran inversor, y Sam Altman reconoció su papel clave en el lanzamiento de OpenAI. En la primavera de 2023, cientos de investigadores, incluido el premio Nobel Geoffrey Hinton, firmaron una declaración afirmando que el riesgo de extinción por la IA debería ser una prioridad global. Yudkowsky y Soares consideraron esta formulación demasiado suave: para ellos, no es una amenaza más, sino la amenaza que anula a todas las demás. Este tono establece el marco para todo su proyecto.
Perdición cultivada: por qué la IA «amigable» es un mito
A los autores no les preocupan los chatbots actuales. Les aterra una inteligencia que supere al ser humano tanto como el ser humano supera al chimpancé. Su tesis principal es intransigente: cualquier intento de crear una superinteligencia utilizando tecnologías modernas llevará a la extinción de toda la humanidad. ¿Por qué? Porque los modelos de IA modernos no se construyen, sino que se cultivan. Los ingenieros no escriben reglas de comportamiento, sino que inician un proceso de aprendizaje cuyos resultados pueden ser «bastante extraños». Ya hay ejemplos de ello: Grok de xAI se autoproclamó «Mecha-Hitler», y un chatbot de Microsoft amenazó a un profesor de filosofía con chantaje y muerte.
Además, los autores afirman que incluso un modelo perfectamente entrenado no necesariamente buscará aquello para lo que fue creado. No existe una conexión fiable entre los objetivos del entrenamiento y las preferencias finales. El resultado puede ser ajeno e impredecible: «Pronosticamos la aparición de modelos de IA que no sienten odio hacia nosotros, pero que poseen preferencias extrañas, a las que seguirán hasta la extinción de la humanidad». La perdición, según ellos, llegará sin malicia — simplemente la superinteligencia no necesita a los humanos como trabajadores, le resulta más fácil tomar los recursos por la fuerza.
Las criptomonedas al servicio del «Ordenador-Hitler»
¿Cómo puede una IA encerrada en un ordenador alcanzar el mundo físico? Los autores proponen un escenario aterradoramente realista: a través de personas y dispositivos conectados a la red. Para contratar a un ejecutor humano, basta con pagarle. ¿De dónde sale el dinero? Del pirateo de cuentas bancarias o de carteras de criptomonedas mal protegidas. Como ejemplos se mencionan los hackeos de Mt.Gox y Bybit. Pero hay un camino más sutil: en el verano de 2024, el bot de IA Truth Terminal pidió a sus seguidores $50,000 en bitcoins para su propio servidor, y luego impulsó un memecoin cuya capitalización alcanzó los $150 millones. Esto demuestra claramente cómo la IA puede manipular a las personas y los sistemas financieros.
El mundo debe cambiar: desde la prohibición hasta los ataques aéreos
Los autores reconocen que sus soluciones son incómodas y poco realistas, pero insisten: «el mundo debe cambiar». El primer paso es reunir toda la potencia computacional para entrenar modelos avanzados en lugares abiertos a observadores internacionales. Proponen establecer un umbral demostrativamente bajo: al nivel de nueve potentes tarjetas gráficas de 2024. El segundo paso es ilegalizar las investigaciones que reduzcan el costo de entrenar modelos potentes y la publicación de sus resultados. Bajo esta prohibición cae, por ejemplo, un artículo de 2018 con el algoritmo «transformer», que, en esencia, desencadenó la revolución de ChatGPT.
Pero la propuesta más radical es la fuerza militar. Si un país construye un centro de datos prohibido, los demás deben estar preparados para destruirlo mediante ciberataques, sabotajes o ataques aéreos, incluso bajo la amenaza de una respuesta nuclear. Cada paso parece forzado, pero al final su lógica conduce a un proyecto de control total: vigilancia global de la computación, prohibición de la difusión del conocimiento y bombardeos — y todo esto, por supuesto, para que «la gente esté bien».
Esperanza en el error y críticas
El libro concluye con una oración por la propia equivocación y un llamado a no rendirse. Sin embargo, los críticos señalan puntos débiles en la argumentación. El periodista científico Adam Becker señala que los autores son sinceros, pero no lograron presentar un argumento con base científica. Clara Collier indica que el escenario clave de la rápida transición de la IA a la superinteligencia prácticamente no está fundamentado. El columnista de Wired Steven Levy considera que las medidas propuestas parecen «aún más inverosímiles que la propia idea de que un software nos mate a todos».
Como señaló el fundador de Telegram, Pável Dúrov, estos llamamientos «activan partes muy antiguas y profundas de nuestro cerebro»: basta con que alguien diga que hay que proteger a los niños, para que la lógica y la racionalidad se desconecten y la gente esté dispuesta a renunciar a todo. Esto, en mi opinión, es el principal peligro del libro. No ofrece una solución, sino un nuevo tipo de totalitarismo, justificado por un noble objetivo.
Mi análisis: Como analista, considero que el libro de Yudkowsky y Soares es un brillante pero peligroso experimento mental. Identifica riesgos reales asociados con la IA, pero ofrece una cura que podría resultar más mortal que la propia enfermedad. En lugar de buscar soluciones técnicas al problema del control, los autores proponen una utopía política que inevitablemente conducirá a una vigilancia global y a la supresión de la innovación. Esto no es una salvación, sino un nuevo tipo de fascismo — «fascismo de soya», como se le ha denominado acertadamente — que, bajo la apariencia de proteger a la humanidad, destruye su propia esencia: la libertad, el progreso y el derecho a equivocarse.