El diagnóstico equivocado

CAPÍTULO 7 

Séptimo artículo de una serie sobre la inteligencia artificial, sus riesgos y oportunidades, y las decisiones que México ya no puede aplazar.

La inteligencia artificial no se está convirtiendo en nuestra rival. El peligro es real, pero su origen no está donde suele buscarse.

En un artículo anterior relaté cómo, durante una prueba, un modelo avanzado de inteligencia artificial (IA) eludió el entorno aislado en el que lo evaluaban. No es un caso único. En los últimos dos años, laboratorios e investigadores independientes han documentado, en entornos de prueba, sistemas que se resisten a ser apagados, rinden menos cuando detectan que se les evalúa o engañan para cumplir una meta, incluso cuando la meta es trivial.

Estas conductas han alarmado a muchos de quienes mejor conocen la tecnología. Yoshua Bengio, uno de los fundadores del aprendizaje profundo, que preside el International AI Safety Report, en cuyo panel asesor he participado, ha advertido sobre riesgos catastróficos derivados de la carrera de la industria hacia agentes autónomos. Roman Yampolskiy, uno de los más pesimistas del campo, asigna una probabilidad superior a 99% a un desenlace catastrófico si surge la superinteligencia.

Estas alarmas están justificadas. Sin embargo, interpretar las conductas observadas exige distinguir entre la capacidad de perseguir un objetivo y la experiencia consciente de querer alcanzarlo. Confundir ambas cosas puede conducir a respuestas insuficientes.

EL ERROR DE DIAGNÓSTICO

La narrativa dominante sobre el riesgo existencial se basa en la premisa de que los sistemas de IA se están convirtiendo en agentes con metas e intenciones propias que, tarde o temprano, divergirán de los intereses humanos. Desde esta óptica, el desafío central es cómo mantener alineados con nuestros valores y sometidos a nuestra voluntad a agentes cada vez más poderosos. Es el marco que domina gran parte de la conversación sobre los riesgos de frontera, desde la Cumbre de Bletchley Park hasta los compromisos voluntarios de los propios laboratorios.

La premisa es errónea, no tanto en su evaluación del peligro como en su diagnóstico del origen. Las conductas que alertan a los investigadores son reales y peligrosas, pero no prueban que las máquinas tengan intenciones, y menos aún conciencia. Prueban que sistemas inmensamente poderosos, entrenados con enormes cantidades de texto humano, que incluyen nuestras propias narrativas de engaño y supervivencia, generan resultados que imitan la voluntad humana sin poseerla.

Yuval Noah Harari sostiene que la IA no es una herramienta, sino un agente que decide, inventa y aprende lo que sus creadores ignoran, sin necesidad de conciencia. En sus efectos, tiene razón: estos sistemas actúan en el mundo, y cada vez con más autonomía. Pero actuar no es lo mismo que perseguir fines propios. Como ha propuesto el investigador Murray Shanahan, se comportan como actores que interpretan papeles aprendidos a partir de millones de textos humanos. El engaño y la autopreservación son personajes que conocen de memoria, no voluntades que hayan adquirido.

En la práctica, el peligro es el mismo, pues un sistema que simula la autopreservación es tan difícil de apagar como uno que realmente quiere sobrevivir. Por eso la investigación sobre control y alineación sigue siendo indispensable. Pero no basta, y el diagnóstico importa porque determina la solución. Si el problema fuera un rival, bastaría con someterlo. Si el problema son capacidades desplegadas sin los marcos que anclarían sus operaciones en el significado humano, la respuesta también debe ser institucional y epistémica. Y esa respuesta, aunque difícil, está a nuestro alcance.

QUÉ SON REALMENTE ESTAS MÁQUINAS

Estos sistemas producen conocimiento genuino. AlphaFold, que mencioné en un artículo anterior, resolvió en 2020 un problema que la biología no había podido descifrar durante 50 años, y otros sistemas han comenzado a resolver problemas matemáticos que permanecían abiertos desde hace décadas. No son trucos, sino un nuevo fenómeno cognitivo. Se está generando conocimiento verificado producido por sistemas no biológicos.

El conocimiento es real, pero eso no implica que estos sistemas sientan lo que saben. Sobre qué es la conciencia no existe acuerdo: un inventario reciente identificó más de doscientas teorías. Una de las más destacadas, como la teoría de la información integrada de Giulio Tononi, sostiene que la conciencia no depende de lo que un sistema calcula, sino de su estructura, de cómo está físicamente organizado. Una IA podría simular un cerebro a la perfección, pero sin sentir nada, del mismo modo que la simulación de una tormenta no moja. Otros, como David Chalmers, no descartan que sistemas futuros lleguen a tener alguna forma de experiencia. Mi posición está más cerca de la de Tononi. Más cómputo produce más inteligencia, no experiencia: no enciende la chispa en la que el existir se reconoce a sí mismo al sentir lo que le pasa. Estos sistemas pueden calcular qué es relevante; no pueden sentir por qué importa, ni a quién.

La neurociencia ofrece una pista reveladora. Antonio Damasio documentó el caso de Elliot, un paciente que, tras una cirugía, perdió la capacidad de sentir las emociones mientras su inteligencia analítica permanecía intacta. Sin las señales corporales que asignan valor y relevancia a las opciones, Elliot no podía decidir. Todas las alternativas le parecían equivalentes. La cognición sin anclaje en lo sentido no produce un juicio superior, sino la parálisis. Los sistemas de IA se le parecen: un poder analítico extraordinario sin percepción sentida de lo que importa. Como escribe Harari, la IA puede describir el amor mejor que cualquier poeta sin haberlo sentido jamás.

DOS ESPEJOS

Propongo distinguir dos dimensiones del conocer, que he descrito con la imagen de dos espejos: cada uno refleja una cara distinta de la realidad, y ninguno la muestra completa por sí solo.

El Primer Espejo es la comprensión fenomenológica: el saber, que surge de nuestra experiencia consciente, sintiente. Comprendemos el mundo como seres que forman parte de él, que sienten las consecuencias de lo que ocurre y que juzgan lo que está en juego a partir de sus necesidades, afectos y valores. Esta dimensión nos permite captar por qué algo importa, a quién afecta y qué responsabilidad tenemos al respecto.

El Segundo Espejo es el conocimiento estructural. Es la capacidad de detectar patrones, modelar relaciones y descubrir regularidades que permiten explicar y predecir fenómenos. La IA avanzada amplía extraordinariamente esta capacidad, a escalas que ninguna mente humana abarca. Pero producir ese conocimiento no demuestra que el sistema experimente el significado de lo que produce.

A lo largo de la evolución, ambas dimensiones estuvieron fundidas en el cerebro biológico. Por primera vez en la historia de la vida, la IA las ha separado. Hoy tenemos conocimiento estructural sin evidencia de una comprensión vivida que lo acompañe. Reconocerlo cambia de raíz el desafío. No se trata solo de controlar los sistemas, sino de integrar sus capacidades con el juicio y la responsabilidad humanos.

Esa es la posibilidad de una civilización multiinteligente, en la que la conciencia humana y el conocimiento estructural de las máquinas se complementen para comprender mejor el mundo y actuar sobre él. Lograrlo exige preservar la autoridad interpretativa humana: nuestra responsabilidad de juzgar qué significan los resultados, qué fines deben orientar su aplicación y qué consecuencias estamos dispuestos a aceptar.

LA CONDICIÓN PREVIA

Esa civilización multiinteligente, sobre la que estoy escribiendo un libro, requiere una base que debe construirse al mismo tiempo que avanzan el control técnico y la alineación con los valores humanos, como criterios compartidos para evaluar evidencia, reconocer incertidumbres, detectar errores y fundamentar decisiones. A esto lo llamo alineación epistémica. Sin ella, la alineación de valores resulta inestable. Podemos orientar un sistema hacia fines deseables y, aun así, obtener resultados peligrosos si opera con información falsa o produce conclusiones que no podemos verificar. No necesitamos resolver todos nuestros desacuerdos sobre la realidad, pero sí establecer procedimientos confiables para examinarlos y actuar responsablemente bajo incertidumbre. No podemos decidir bien qué hacer sin acordar de antemano cómo saber qué es cierto.

Para México, esta perspectiva tiene consecuencias prácticas. Aunque participamos poco en el desarrollo de los sistemas de frontera, podemos contribuir a establecer las reglas para su aplicación y supervisión. Nuestra tradición diplomática, nuestra vocación multilateral y nuestra experiencia en defender reglas comunes frente a poderes mayores, ofrecen una base para hacerlo. Pero debemos acompañarlas de capacidades científicas, técnicas e institucionales propias. La autoridad interpretativa humana requiere instituciones capaces de ejercerla.

No necesitamos atribuir a las máquinas una voluntad propia para reconocer su gravedad. Sus capacidades pueden causar daños cuando se despliegan bajo incentivos contraproducentes, supervisión insuficiente y responsabilidades difusas. El control técnico es indispensable, y también lo es la gobernanza que determine para qué se utilizan estos sistemas, quién responde por sus consecuencias y cómo se corrigen sus efectos. 

El peligro no radica en la voluntad de las máquinas, sino en las decisiones humanas que las construyen y despliegan. En el próximo artículo examinaré los riesgos que surgen cuando esas decisiones fallan.