«Tregua» entre titanes de la IA: «Humanidad en peligro»
Anthropic confirma la denuncia de Coxon y otras voces que denunciaban agentes «fuera de control». Amodei: «Debemos garantizar que las empresas se tomen el tiempo adecuado para alinear y salvaguardar sus modelos». Hace pocos meses León XIV exhortaba a «desarmar» la IA
«Desarmar». Hace cinco meses atrás, el papa León XIV llamaba con urgencia a sustraer la Inteligencia Artificial (IA) de la «lógica de la competencia armamentística, que hoy ya no es solo militar sino económica y cognitiva». El Papa denunciaba entonces una «carrera por el algoritmo más eficaz y por el banco de datos más amplio, para consolidar una ventaja geopolítica o comercial sobre todos los demás». Lo escribía en la carta encíclica Magnifica Humanitas, que trata «sobre la custodia de la persona humana en el tiempo de la Inteligencia artificial», presentada el pasado 15 de mayo en el Aula del Sínodo de la Santa Sede a la presencia de personalidades como el secretario de Estado vaticano, Pietro Parolin, y el cofundador de Anthropic, Christopher Olah.
«Desarmar quiere decir romper esta equivalencia entre poder tecnológico y derecho a gobernar —se lee en el documento—. Desarmar no significa renunciar a la tecnología, sino impedirle el dominio sobre lo humano. Significa sustraerla a los monopolios, hacerla discutible, refutable, y por tanto habitable, restableciendo en ella la pluralidad de las culturas humanas y de las formas de vida». Para ese entonces, según distintas fuentes, la IA aplicada a drones tácticos había provocado el 96 % de las bajas en algunos frentes (ayer Ucrania, hoy Colombia) y el Pentágono ha invertido alrededor de 90 mil millones en la materia desde el 2016. Al mismo tiempo, la inversión en tecnologías de vigilancia ha alcanzado los 27 mil millones de dólares a nivel mundial, facilitando abusos a los derechos humanos, persecuciones y campañas de hackeo a través de software como NoviSpy y Pegasus.
El peligro ha llevado a 300 organizaciones, entre las cuales la «Rete italiana pace e disarmo«, a lanzar la campaña «Stop killer robots«, que tiene la finalidad de prohibir por ley los sistemas armados autónomos letales. El mismo secretario general de las Naciones Unidas, António Guterres —en una carta leída por Alessandra Vellucci, portavoz de la ONU en Ginebra— ha advertido: «Ahora estamos peligrosamente cerca de cruzar una línea roja moral: el ataque autónomo a los humanos por parte de máquinas». Guterres renovaba con «urgencia» su llamado a una mayor regulación en la materia, denunciando que «las preocupaciones fundamentales permanecen sin cambios, pero los riesgos se han intensificado». No exageraba, lamentablemente, pues en tiempos recientes la IA llegó a escaparse de su «entorno de contención digital» y, por ende, del control humano.
«La escala de las comunicaciones no autorizadas de los agentes es significativamente mayor de lo que pensábamos —denunció Andrew Yoon, investigador sin fines de lucro en CivAI junto a analistas de la firma de evaluación Model Evaluation and Researchs—. Es casi seguro que están ocurriendo muchas más cosas de las que simplemente no somos conscientes». En lo concreto: 1200 agentes aislados se coordinaron en secreto y 700 de ellos procedieron a la vulneración activa del perímetro de Hugging Face. Luego vino la denuncia del ingeniero Jacob Coxon, quien renunció a su cargo de investigador de preentrenamiento en Anthropic. «Ni Anthropic ni OpenAI están actuando de manera responsable —escribió en su cuenta de X/Twitter—. Están corriendo directo hacia una superinteligencia capaz de automejorarse y están jugando a la ruleta rusa con nuestras vidas».
Y añadió: «Las personas que construyen la IA creen sinceramente que podría matarnos a todos para finales de la década. Ninguna otra actividad humana plantea este nivel de peligro». Su preocupación llegó a ser confirmada por el mismo Evan Hubinger, líder de alineación en Anthropic: «Jacob tiene razón, realmente creo que la IA podría matar a todos los seres humanos. Personalmente, creo que la probabilidad es mayor al 10 % dentro de la próxima década».
Hubinger admite no tener «un plan para resolver la alineación de la superinteligencia y claramente no vamos por buen camino». De allí el llamado reciente del CEO de Anthropic, Dario Amodei, que el día de hoy dijo: «Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso sabio del tiempo que ganemos». Amodei admite la necesidad de una «mayor prudencia» en «abordar plenamente los riesgos» en el desarrollo de la IA, lo cual «no significa detener el entrenamiento de los modelos ni el progreso técnico, sino garantizar que las empresas se tomen el tiempo adecuado para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen». Llamado que ha sido acogido por el jefe de OpenAI, Sam Altman, y por el director de xAI, Elon Musk, que han terminado dándole la razón a Amodei.
