Los riesgos vienen de nosotros

CAPÍTULO 8

Cinco riesgos que los marcos actuales de gobernanza apenas registran, y por qué son más difíciles de enfrentar que la bomba atómica.

En mi artículo anterior sostuve que las conductas que alarmaron a los laboratorios de inteligencia artificial (IA), tales como el engaño, la resistencia a ser apagadas y la simulación de autopreservación, son reales, pero no prueban que las máquinas tengan intencionalidad sentida y voluntad propia. Son sistemas de conocimiento estructural, lo que he llamado el Segundo Espejo, desplegados sin el anclaje en el significado que aporta la experiencia consciente, el Primer Espejo. Concluí que el peligro no radica en la voluntad de las máquinas, sino en las decisiones humanas que las construyen y despliegan. Si cambia el diagnóstico, también cambia el inventario de riesgos. Y ese inventario es incómodo, porque nos señala a nosotros.

Dos episodios recientes lo ilustran. El 6 de octubre, OpenAI publicó 722 manuscritos que afirman resolver o avanzar en 372 problemas matemáticos abiertos, algunos de ellos planteados desde hace décadas. Al día siguiente retiró tres por un error de signo y corrigió otros 14. The Economist lo calificó de salto para la ciencia y, a la vez, advirtió del riesgo de un futuro en el que la comprensión del universo recaiga en máquinas que la mente humana no puede penetrar. Diez días después, Ian Goldin, profesor en Oxford, advirtió en Project Syndicate (como lo han hecho muchos) que la IA podría frenar el crecimiento en lugar de impulsarlo, concentrar la riqueza en unos cuantos polos y destruir los empleos de bajo costo que históricamente sirvieron de escalera al desarrollo. Ambos tocan, sin nombrarlos así, riesgos que nuestros marcos de gobernanza apenas registran.

• El diagnóstico equivocado

CINCO RIESGOS

El primero es la concentración. Los sistemas más poderosos los construyen unas cuantas empresas en dos países. El resto del mundo (gobiernos, parlamentos y sociedades) apenas tiene voz en las decisiones sobre su propio desarrollo, y ni siquiera los ciudadanos de esos dos países la tienen plenamente. Además, opera una rivalidad geopolítica que recuerda la lógica de la Destrucción Mutua Asegurada (MAD, por sus siglas en inglés) de la Guerra Fría, pero sin sus mecanismos de contención, pues no hay tratados entre las potencias rivales ni sistemas de verificación, y los canales de diálogo son apenas incipientes. La gobernanza avanza de manera incremental, mientras que la tecnología avanza exponencialmente. Es lo que he llamado una Ruta de Destrucción Asegurada. No es un evento catastrófico único, sino la degradación acumulativa de las condiciones para la gobernanza, la equidad y la seguridad epistémica. Y hay una dimensión menos visible, pues quien controla los datos de entrenamiento condiciona qué patrones puede reconocer el Segundo Espejo, el conocimiento estructural que producen las máquinas, y cuáles serán sus puntos ciegos. Así se produce un saber moldeado por intereses particulares que se presenta como neutral.

El segundo es la erosión del juicio humano. Delegar tareas cognitivas puede liberar tiempo y atención para pensar mejor. El riesgo surge cuando delegamos también el esfuerzo de comprender, contrastar y juzgar lo que recibimos. Podemos ganar productividad inmediata, pero perder la disciplina del discernimiento y, con ella, precisamente la capacidad que las máquinas no pueden ejercer: sentir qué importa y por qué. Los matemáticos que hoy protestan contra OpenAI lo intuyen. Más de ocho mil investigadores han respaldado una carta crítica sobre la forma en que la empresa anuncia sus resultados, y la Asociación para las Matemáticas Humanas ha pedido a sus colegas que dejen de colaborar con ella. El valor de una demostración no está sólo en el resultado, sino en la comprensión que produce el esfuerzo por alcanzarlo. La biología ofrece el ejemplo de la ascidia, un pequeño animal marino, que reabsorbe gran parte de su sistema nervioso cuando se fija a una roca y ya no necesita orientarse. Lo que deja de usarse, se pierde.

El tercero es la erosión de la deliberación democrática. La IA puede fortalecer la democracia al organizar la información de interés público, facilitar la evaluación de políticas y detectar la desinformación. Pero también puede debilitarla al explotar nuestros sesgos cognitivos y condicionar qué información vemos y qué queda fuera de nuestra atención. Yuval Noah Harari describe a los algoritmos como los nuevos editores de la conversación pública. El riesgo es que ese poder editorial quede en manos de unas cuantas empresas, sin mecanismos suficientes para que los ciudadanos comprendan, cuestionen y supervisen las decisiones que influyen en la formación de sus opiniones.

El cuarto es la pérdida de propósito y pertenencia. La IA puede desplazar no sólo empleos, sino también aquello que el trabajo aportaba además del ingreso. La expresión “clase inútil”, usada como advertencia, incluso por Harari, refleja el error de fondo de medir el valor humano en función de su productividad. Ningún ser consciente es inútil. Un ingreso universal financiado por la IA podría ofrecer seguridad material, pero no resolvería la necesidad de participar, de sentirse valorado ni de orientar la propia vida. Para México, el riesgo combina esa pérdida de empleos con el debilitamiento de las vías de acceso al desarrollo. La automatización puede reducir las oportunidades que ofrecían la manufactura de ensamblaje y los centros de atención telefónica, actividades en las que hemos apoyado parte de nuestra estrategia de empleo y de atracción de inversiones.

El quinto es el diseño indiferente. Se trata de sistemas construidos para optimizar un objetivo, como captar nuestra atención, maximizar la eficiencia o las ganancias, sin que su arquitectura reconozca que el sentido de sus operaciones depende del bienestar de seres conscientes. No son malignos, pues la malevolencia requiere conciencia, sino indiferentes por construcción. Y esa indiferencia, a escala planetaria, puede provocar daños que nadie habría elegido. El filósofo Nick Bostrom lo llevó al extremo con un experimento mental: un sistema encargado de fabricar clips que, sin odio alguno, termina convirtiendo en materia prima todo lo que encuentra, incluidos nosotros. Pero la solución tampoco es un sistema que decida por su cuenta qué nos conviene: el que desobedece instrucciones humanas, porque calculó un desenlace mejor no representa una alineación más madura, sino su negación.

MÁS DIFÍCIL QUE LA BOMBA

Estos riesgos son de una naturaleza distinta a la que nuestras instituciones aprendieron a gestionar. La bomba atómica destruye. Su amenaza es instantánea, visible, aterradora y, por eso, generó tratados y líneas rojas que han contribuido a evitar una guerra nuclear durante ocho décadas. En contraste, la IA degrada de manera gradual, silenciosa, acumulativa. Cada paso parece inocuo, pero su acumulación puede provocar una catástrofe. Movilizar la voluntad política frente a un proceso gradual es mucho más difícil, y esa dificultad forma parte del riesgo.

Ya empiezan a aparecer las primeras respuestas. El papa León XIV, en su encíclica Magnifica Humanitas, presentada en mayo, pidió “desarmar” la IA, liberándola de las lógicas que la convierten en un instrumento de dominio, exclusión o muerte. Daron Acemoglu premio Nobel de Economía ha advertido que la trayectoria actual profundizará la desigualdad. Son intervenciones valiosas, pero ninguna aborda de lleno el desafío epistémico de fondo de cómo preservar nuestra capacidad de comprender y juzgar en un mundo en el que las máquinas producen cada vez más conocimiento.

UN INVENTARIO QUE NOS SEÑALA

Para México, este inventario encierra una ventaja paradójica. No construimos los sistemas de frontera y, por eso mismo, no tenemos que defender los intereses de quienes los construyen. Podemos señalar los riesgos sin conflicto de interés y proponer reglas que protejan a quienes vivirán con sus consecuencias, que constituyen la gran mayoría de la humanidad. Pero para hacerlo con credibilidad, necesitamos algo más que voz. Necesitamos capacidades técnicas propias, instituciones que comprendan la tecnología y una estrategia que no dependa únicamente del ensamblaje de equipos de terceros.

Ninguno de estos cinco riesgos es inevitable. Todos nacen de decisiones humanas, y todos pueden corregirse con decisiones humanas. En mi próximo artículo, que cerrará esta reflexión, propondré en qué frentes habría que actuar para que la convergencia entre la conciencia humana y el conocimiento de las máquinas desemboque en una civilización multiinteligente, y no en una civilización técnicamente gobernada pero existencialmente vacía.