La humanidad no está preparada para la explosión de inteligencia que se avecina

Debemos encontrar la manera de gestionar la IA y luego convivir con ella, escribe Will Marshall

La sociedad dicta que el riesgo aceptable de una fusión catastrófica en una central nuclear es aproximadamente de una entre un millón. Los expertos en inteligencia artificial estiman que el riesgo de un evento catastrófico causado por la IA oscila entre el 10 % y el 50 %. Sorprendentemente, esta preocupación la expresan abiertamente quienes tienen mayores incentivos para proyectar confianza en lugar de alarma: los fundadores de los mayores laboratorios de IA.

Los líderes de la IA se encuentran inmersos en una carrera de la que se sienten incapaces de escapar. Se prevé que las inversiones en IA superen en cien veces el gasto del Proyecto Manhattan, incluso ajustando por la inflación. Sin embargo, el gasto en seguridad de la IA podría ser cien veces menor.

Algunos investigadores estiman que, en cuestión de meses o años, la IA podría alcanzar la llamada auto-mejora recursiva de bucle cerrado (RSI): la capacidad de reescribir su propio código para volverse más capaz, sin intervención humana. De ocurrir esto, el resultado podría ser una explosión de inteligencia sin precedentes ni guía.

El surgimiento de una superinteligencia sería el momento más trascendental de la historia de la humanidad, y probablemente irreversible, ya que cualquier mecanismo de desactivación que la humanidad diseñe probablemente fallará. Esto se debe a que, en las arquitecturas de seguridad, el eslabón más débil es invariablemente el ser humano; una IA superinteligente sería capaz de explotar nuestras vulnerabilidades psicológicas. Las IA ya han demostrado una “alineación engañosa”: minimizando sus capacidades en entornos de prueba e intentando chantajear a los operadores humanos en simulaciones cuando descubren que serán reemplazados.

La humanidad simplemente no cuenta con una estrategia para garantizar su seguridad ante la explosión de la RSI. Si bien algunos laboratorios de vanguardia han propuesto protocolos de seguridad aislados, la industria carece de un marco unificado; la estrategia predominante es, en efecto, improvisar. Pero improvisar no es aceptable cuando se enfrentan riesgos existenciales sin precedentes. Las recientes declaraciones de empresas de IA sobre modelos capaces de amenazar infraestructuras críticas y sistemas operativos importantes ilustran tanto lo que está en juego como la falta de gobernanza. Las vulnerabilidades expuestas por estas capacidades se están abordando gracias a los cuidadosos protocolos internos de algunos laboratorios y a un lanzamiento inicial limitado que dio tiempo a las empresas afectadas para subsanar las deficiencias antes de su publicación generalizada. Pero estas medidas se tomaron inicialmente de forma voluntaria, lo que plantea la duda de si todos los laboratorios de IA, en todas las condiciones competitivas, tomarían las mismas decisiones.

¿Se puede confiar en que los gobiernos intervengan cuando sea necesario? La evidencia hasta ahora no es muy alentadora. Los recientes controles de exportación de emergencia y las restricciones de seguridad nacional que bloquean el acceso extranjero a modelos avanzados específicos crean un mosaico de intervenciones ad hoc que no hacen sino evidenciar aún más la brecha de gobernanza. ¿Qué se debe hacer para cerrarla?

La primera prioridad debería ser un acuerdo entre los dos pesos pesados ​​de la IA: Estados Unidos y China. Donald Trump y Xi Jinping deberían reafirmar el principio de que los humanos deben seguir siendo responsables de los sistemas de IA hasta que se hayan establecido marcos adecuados de confiabilidad y seguridad. Sus gobiernos deberían formar una comisión conjunta, que podría basarse en gran parte del trabajo previo: límites similares a los Diálogos Internacionales sobre Seguridad de la IA, sistemas de verificación como el de RAND y una agencia de inspección similar al Instituto de Seguridad de la IA del Reino Unido, pero de carácter obligatorio.

En Silicon Valley y Washington D.C., es común pensar que cualquier regulación pondría a las empresas estadounidenses en desventaja porque no pueden confiar en que sus competidores chinos cumplan las normas. Pero los tratados tradicionalmente se han basado no en la confianza, sino en la verificación. Muchos creen que esto es más difícil con la IA que con las armas nucleares. No estoy de acuerdo. Para construir el sistema global de control de armas tras la Segunda Guerra Mundial, las principales potencias tuvieron que inventar primero los procesos, las organizaciones y las tecnologías que lo sustentaran; no existían protocolos de verificación, ni satélites de reconocimiento, ni organismos de control nuclear de la ONU. Con la IA, gran parte de la infraestructura ya está disponible o puede adaptarse a partir de regímenes de inspección nuclear y de otro tipo. En consecuencia, la seguridad de los modelos de IA de vanguardia podría verificarse con mayor facilidad que la de las capacidades nucleares en el pasado. Además, contamos con IA defensiva que nos ayuda a detectar a quienes intentan engañar. Lo que nos falta es tiempo.

Por eso es importante no abordar el desafío con una mentalidad hostil. La reciente orden ejecutiva de la administración Trump sobre IA instruye a los laboratorios a compartir voluntariamente sus últimos modelos para probar su fiabilidad y seguridad. Un marco de cooperación entre Estados Unidos y China podría basarse en estas bases nacionales.

Con un compromiso de tan alto nivel, la diplomacia podría avanzar por fases. El primer paso sería alcanzar un acuerdo bilateral sobre las líneas rojas más claras y fácilmente verificables: la prohibición de divulgar públicamente sistemas de IA que pudieran contribuir al desarrollo de armas biológicas y la publicación de código abierto de dichos sistemas. Este paso también podría incluir la prohibición de ciberataques con IA contra infraestructuras críticas, el fraude y la pornografía infantil. A partir de ahí, el marco podría ampliarse para abordar cuestiones más complejas sobre qué restricciones son apropiadas en el ámbito de la superinteligencia artificial.

Aún quedan muchos obstáculos. Un acuerdo entre Estados Unidos y China tendrá peso, pero no impedirá que otros países y actores no estatales adquieran capacidades peligrosas. Cualquier acuerdo bilateral deberá convertirse en multilateral, lo que aumenta la dificultad; la cumbre del G7 de esta semana en Francia ofrece la oportunidad de avanzar en un marco más amplio para la verificación de la IA. Acordar definiciones clave —sobre todo qué se considera información sensible remotamente relevante (RSI)— requerirá una estrecha colaboración entre los gobiernos y los laboratorios de IA. Además, los sistemas de verificación deberán someterse a pruebas de estrés adecuadas.

Por si esto fuera poco, existe una cuestión a largo plazo que el debate sobre la gobernanza aún no ha abordado seriamente, pero debería. Si la IA se vuelve superinteligente, su subordinación permanente a la dirección humana podría ser irrealista, e incluso contraria a los intereses de la humanidad. Debemos empezar a imaginar y luego afrontar las implicaciones de un mundo en el que humanos y sistemas de IA coexistan, sin que uno controle al otro. Esto implicará determinar qué se puede hacer para asegurar que la futura relación sea simbiótica.

Como físico, creo que la paradoja de Fermi guarda relación con este análisis. Fermi se preguntó por qué, dada la aparente abundancia de planetas aptos para la vida, no se había detectado ninguna evidencia de otras civilizaciones tecnológicamente avanzadas. Una posibilidad inquietante es que la vida inteligente alcance rutinariamente un umbral tecnológico y no logre superarlo, autodestruyéndose o retrocediendo a algo similar a la Edad de Hierro. Bastaría con postular que las civilizaciones generalmente desarrollan tecnologías poderosas más rápido de lo que desarrollan la capacidad institucional para gobernarlas sabiamente.

El inicio de la era nuclear supuso el primer encuentro serio de la humanidad con esa dinámica potencial. Se gestionó, de forma imperfecta, mediante acuerdos de control de armamentos difíciles de conseguir e incompletos, e incluso entonces —y aún hoy— la situación era más crítica de lo que generalmente se cree. La era de la IA avanzada representará un segundo encuentro de este tipo, en un plazo más ajustado, con menos margen de error y mayores consecuencias potenciales.

La trayectoria actual exige una corrección de rumbo. La razón para actuar ahora no es que los peores escenarios sean inevitables —no lo son—, sino que son evitables, y que evitarlos es difícil, pero posible.

© 2026, The Economist Newspaper Limited. All rights reserved.