Esta carta abierta escrita en Marzo del año 2023 y publicada por TIME.com estaría hoy totalmente vigente y es conveniente recordarla.

POR ELIEZER YUDKOWSKY.

Yudkowsky es un teórico de la decisión estadounidense que dirige la investigación en el Instituto de Investigación de Inteligencia Artificial. Trabaja en la alineación de la Inteligencia Artificial General desde 2001 y es ampliamente reconocido como uno de los fundadores de este campo.

Una carta abierta publicada hoy (Marzo de 2023) pide que “todos los laboratorios de IA pausen de inmediato durante al menos seis meses el entrenamiento de sistemas de IA más potentes que GPT-4”.

Esta moratoria de seis meses sería mejor que ninguna. Respeto a todos los que dieron un paso al frente y la firmaron. Es una mejora mínima.

Me abstuve de firmar porque creo que la carta subestima la gravedad de la situación y pide demasiado poco para solucionarla.

La cuestión clave no es la inteligencia «competitiva con los humanos» (como se expresa en la carta abierta); sino qué sucede después de que la IA alcance una inteligencia superior a la humana. Los umbrales clave en ese caso pueden no ser obvios, definitivamente no podemos calcular de antemano qué sucederá y cuándo, y actualmente parece imaginable que un laboratorio de investigación cruce límites críticos sin percatarse.

Muchos investigadores inmersos en estos temas , incluyéndome a mí, esperan que el resultado más probable de construir una IA con inteligencia sobrehumana, en circunstancias remotamente similares a las actuales, sea que literalmente todos los habitantes de la Tierra mueran. No es que se trate de una posibilidad remota, sino de que «eso es lo obvio». No es que, en principio, no se pueda sobrevivir creando algo mucho más inteligente; es que requeriría precisión, preparación y nuevos conocimientos científicos, y probablemente no contar con sistemas de IA compuestos por enormes e inescrutables conjuntos de números fraccionarios.

Sin esa precisión y preparación, lo más probable es que la IA no haga lo que queremos y no se preocupe por nosotros ni por la vida consciente en general. Ese tipo de cuidado es algo que, en principio, podría incorporarse a una IA, pero no estamos preparados y actualmente no sabemos cómo.

Si no hay ese interés, lo que obtenemos es “la IA no te ama ni te odia, y estás hecho de átomos que puede usar para otra cosa”.

El probable resultado de que la humanidad se enfrente a una inteligencia sobrehumana opuesta es una pérdida total. Metáforas válidas incluyen «un niño de 10 años intentando jugar al ajedrez contra Stockfish 15», «el siglo XI intentando luchar contra el siglo XXI» y «el Australopithecus intentando luchar contra el Homo sapiens ».

Para visualizar una IA sobrehumana hostil, no imagines a un pensador intelectual e inerte viviendo en internet enviando correos electrónicos malintencionados. Visualiza una civilización alienígena entera, pensando a velocidades millones de veces superiores a las humanas, inicialmente confinada a computadoras, en un mundo de criaturas que, desde su perspectiva, son muy estúpidas y muy lentas. Una IA suficientemente inteligente no permanecerá confinada a las computadoras por mucho tiempo. Hoy en día, se pueden enviar cadenas de ADN por correo electrónico a laboratorios que producirán proteínas a demanda, lo que permite a una IA inicialmente confinada a internet construir formas de vida artificiales o iniciar directamente la fabricación molecular posbiológica.

Si alguien construye una IA demasiado poderosa, en las condiciones actuales, espero que cada miembro de la especie humana y toda la vida biológica en la Tierra muera poco después.

No existe un plan propuesto que nos permita hacer algo así y sobrevivir. La intención declarada abiertamente por OpenAI es que alguna IA futura haga nuestra tarea de alineación de IA. El solo hecho de escuchar que este es el plan debería bastar para que cualquier persona sensata entre en pánico. El otro laboratorio líder de IA, DeepMind, no tiene ningún plan.

Un aparte: Ninguno de estos peligros depende de si las IA son o pueden ser conscientes; es intrínseco a la noción de sistemas cognitivos potentes que optimizan y calculan resultados que cumplen criterios suficientemente complejos. Dicho esto, faltaría a mis deberes morales como ser humano si no mencionara también que desconocemos cómo determinar si los sistemas de IA son conscientes de sí mismos —ya que desconocemos cómo decodificar lo que ocurre en las gigantescas e inescrutables matrices— y, por lo tanto, podríamos, en algún momento, crear inadvertidamente mentes digitales verdaderamente conscientes que deberían tener derechos y no ser propiedad de nadie.

La regla que la mayoría de las personas conscientes de estos problemas habrían respaldado 50 años antes era que si un sistema de IA puede hablar con fluidez, afirma ser autoconsciente y exige derechos humanos, esto debería ser un impedimento para que la gente simplemente lo posea y lo use después de ese punto. Ya hemos superado esa vieja línea. Y probablemente era correcto ; coincido en que las IA actuales probablemente solo imitan la autoconsciencia de sus datos de entrenamiento. Pero quiero señalar que, con el escaso conocimiento que tenemos sobre el funcionamiento interno de estos sistemas, en realidad no lo sabemos.

Si ese es nuestro desconocimiento de GPT-4, y GPT-5 representa un salto de capacidad tan grande como el de GPT-3 a GPT-4, creo que ya no podremos decir con razón «probablemente no sea autoconsciente» si dejamos que la gente fabrique GPT-5. Simplemente será «No lo sé; nadie lo sabe». Si no se puede estar seguro de estar creando una IA autoconsciente, esto es alarmante no solo por las implicaciones morales de la parte «autoconsciente», sino porque la inseguridad significa que no se tiene ni idea de lo que se está haciendo, lo cual es peligroso y debería detenerse.

El 7 de febrero, Satya Nadella, director ejecutivo de Microsoft, se jactó públicamente de que el nuevo Bing haría que Google «saliera y demostrara que sabe bailar». «Quiero que la gente sepa que los hicimos bailar», dijo.

Así no es como habla el director ejecutivo de Microsoft en un mundo sensato. Muestra una brecha abrumadora entre la seriedad con la que nos tomamos el problema y la seriedad con la que debíamos tomárnoslo hace 30 años.

No vamos a superar esa brecha en seis meses.

Pasaron más de 60 años desde que se propuso y estudió el concepto de Inteligencia Artificial hasta que alcanzamos las capacidades actuales. Resolver la seguridad de la inteligencia sobrehumana —no la seguridad perfecta, sino la seguridad en el sentido de «no matar literalmente a todos»— podría, muy razonablemente, tomar al menos la mitad de ese tiempo. Y lo que ocurre al intentar esto con inteligencia sobrehumana es que, si te equivocas a la primera, no aprendes de tus errores, porque estás muerto. La humanidad no aprende del error, se repone y vuelve a intentarlo, como en otros desafíos que hemos superado en nuestra historia, porque todos estamos perdidos.

Intentar hacer algo bien en el primer intento realmente crítico es una tarea extraordinaria, tanto en ciencia como en ingeniería. No contamos con el enfoque necesario para lograrlo con éxito. Si sometiésemos cualquier proyecto en el naciente campo de la Inteligencia Artificial General a los estándares de ingeniería menos rigurosos que se aplican a un puente diseñado para transportar un par de miles de automóviles, todo el campo se paralizaría mañana mismo.

No estamos preparados. No estamos en vías de estarlo en un plazo razonable. No hay ningún plan. El progreso en las capacidades de IA va muchísimo más allá del progreso en su alineación o incluso del progreso en la comprensión de qué demonios ocurre dentro de esos sistemas. Si realmente lo hacemos, todos moriremos.

Leer más: El nuevo Bing con IA amenaza a los usuarios. No es para reírse.

Muchos investigadores que trabajan en estos sistemas creen que nos precipitamos hacia una catástrofe, y son más los que se atreven a decirlo en privado que en público; pero creen que no pueden detener unilateralmente esta caída, que otros seguirán adelante incluso si renuncian a sus trabajos. Y por eso, todos piensan que más vale que sigan adelante. Esta es una situación absurda y una forma indigna de que la Tierra muera, y el resto de la humanidad debería intervenir en este momento y ayudar a la industria a resolver su problema de acción colectiva.

Algunos de mis amigos me han contado recientemente que cuando personas ajenas a la industria de la IA oyen hablar por primera vez del riesgo de extinción de la Inteligencia Artificial General, su reacción es: “quizás no deberíamos construir IAG entonces”.

Escuchar esto me dio un pequeño destello de esperanza, porque es una reacción más simple, más sensata y, francamente, más sensata que la que he escuchado en los últimos 20 años al intentar que la gente de la industria se tome las cosas en serio. Cualquiera que hable con esa sensatez merece saber lo grave que es la situación, y no que le digan que una moratoria de seis meses la solucionará.

El 16 de marzo, mi pareja me envió este correo electrónico. (Posteriormente me autorizó a reproducirlo aquí).

¡Nina perdió un diente! ¡Como suele pasar con los niños, no por descuido! Ver cómo GPT4 arrasaba con las pruebas estandarizadas el mismo día que Nina alcanzaba un hito en su infancia me emocionó muchísimo y me dejó sin aliento por un minuto. Todo va demasiado rápido. Me preocupa que compartir esto aumente tu propio dolor, pero prefiero que me conozcas a que cada uno sufra solo.

Cuando la conversación interna gira en torno al dolor de ver a tu hija perder su primer diente y pensar que no tendrá la oportunidad de crecer, creo que ya hemos superado el punto de jugar al ajedrez político sobre una moratoria de seis meses.

Si hubiera un plan para que la Tierra sobreviviera, si tan solo aprobáramos una moratoria de seis meses, lo apoyaría. No existe tal plan.

Esto es lo que realmente habría que hacer:

La moratoria sobre nuevos entrenamientos a gran escala debe ser indefinida y mundial. No puede haber excepciones, ni siquiera para gobiernos o ejércitos. Si la política empieza con EE. UU., China debe ver que EE. UU. no busca una ventaja, sino prevenir una tecnología terriblemente peligrosa que no puede tener un verdadero dueño y que matará a todos en EE. UU., China y la Tierra. Si tuviera libertad ilimitada para redactar leyes, podría establecer una única excepción para las IA entrenadas únicamente para resolver problemas de biología y biotecnología, no para entrenarlas con texto de internet, y no hasta el punto de que empiecen a hablar o planificar; pero si eso complicara mínimamente el asunto, descartaría de inmediato esa propuesta y simplemente diría que se detenga por completo.

Cierren todos los grandes clústeres de GPU (las grandes granjas de computadoras donde se perfeccionan las IA más potentes). Cierren todos los grandes ciclos de entrenamiento. Establezcan un límite a la potencia de procesamiento que se permite usar para entrenar un sistema de IA y reduzcan este límite en los próximos años para compensar la necesidad de algoritmos de entrenamiento más eficientes. No se harán excepciones para gobiernos ni ejércitos. Firmen acuerdos multinacionales inmediatos para evitar que las actividades prohibidas se trasladen a otros lugares. Rastreen todas las GPU vendidas. Si la inteligencia indica que un país fuera del acuerdo está construyendo un clúster de GPU, tengan menos miedo de un conflicto armado entre naciones que de que se viole la moratoria; estén dispuestos a destruir un centro de datos no autorizado mediante un ataque aéreo.

No se debe presentar nada como un conflicto entre intereses nacionales; hay que dejar claro que quien hable de carreras armamentísticas es un necio. Que todos vivamos o muramos como uno solo, en este caso, no es una política, sino un hecho natural. En la diplomacia internacional, es explícito que prevenir escenarios de extinción de la IA se considera una prioridad por encima de prevenir un intercambio nuclear total, y que los países aliados con armas nucleares están dispuestos a correr cierto riesgo de intercambio nuclear si eso es necesario para reducir el riesgo de grandes entrenamientos de IA.

Ese es el tipo de cambio de política que haría que mi pareja y yo nos abrazáramos y dijéramos que ocurrió un milagro y que ahora existe la posibilidad de que Nina sobreviva. Las personas sensatas que se enteran de esto por primera vez y dicen con sensatez «quizás no deberíamos» merecen escuchar, con sinceridad, lo que se necesitaría para que eso sucediera. Y cuando la solicitud de una política es tan grande, la única manera de que se apruebe es que los legisladores se den cuenta de que si siguen como siempre y hacen lo políticamente fácil, eso significa que sus propios hijos también morirán.

Apágalo todo.

No estamos preparados. No vamos camino de estar mucho más preparados en el futuro previsible. Si seguimos adelante con esto, todos morirán, incluidos los niños que no lo eligieron ni hicieron nada malo.