La militarización de la inteligencia artificial y el género: ONU

El uso potencial de la inteligencia artificial (IA) en distintos ámbitos es cada vez mayor, incluyendo el militar. Para conocer más sobre el tema, Noticias ONU habló con Shimona Mohan, investigadora asociada del Instituto de las Naciones Unidas de Investigación sobre el Desarme (UNIDIR).

Para la experta, es esencial que la aplicación de la IA esté supervisada por los seres humanos, y dados los sesgos de género que han observado, es fundamental que en ella participen tanto hombres como mujeres.

Desde el Instituto, Mohan lleva a cabo investigaciones en distintas áreas temáticas, ya sea la tecnología y seguridad, el desarme desde la perspectiva de las armas de destrucción masiva, las armas biológicas y químicas, así como el uso de armas en el espacio.

El objetivo es revelar brechas en la regulación que faciliten la elaboración de políticas más efectivas para hacer frente tanto a los sesgos de género, como a la frenética velocidad a la que evoluciona la tecnología.

El desarme, territorio de hombres 

Noticias ONU: Su investigación se centra en la intersección de género, desarme y tecnologías emergentes como la inteligencia artificial. ¿Podría contarnos más sobre esto? 

Shimona Mohan: Cuando hablamos de género, seguridad y tecnología, nos referimos a cómo se diseñan y desarrollan tecnologías que tienen fines de seguridad y si existen descuidos de género en torno a ello.

¿Cómo podemos superar esos descuidos y asegurarnos que no se transfieren a la elaboración de políticas? En este sentido, cuando debatimos políticas sobre tecnología de seguridad, trabajamos para que el género siga siendo parte de esa conversación y no se pase por alto.

También estamos analizando quién fabrica estas tecnologías; si esos equipos son diversos y representativos, si sus miembros entienden las sensibilidades de género y si garantizan que sus productos no tengan ningún sesgo.

En los círculos políticos y en las áreas en las que se están llevando a cabo conversaciones sobre la gobernanza de estas tecnologías, ¿pueden esas audiencias también entender las complejidades en torno al género? ¿Hay suficiente representación? Algunos datos que tenemos disponibles revelan que, en 2019, solo alrededor de un tercio de los diplomáticos en cualquier foro importante sobre el desarme eran mujeres.

Y esta cifra no ha cambiado mucho desde entonces. De hecho, en los foros más pequeños y en los más especializados, como los que giran en torno a las tecnologías de seguridad, solo una quinta parte de los diplomáticos presentes en la sala son mujeres.

Mi investigación analiza dónde están las brechas, cómo se han desarrollado y cómo podemos colmarlas para asegurarnos de que el género siga siendo parte de la conversación.

Shimona Mohan es investigadora asociada del Programa de Género, Desarme, Seguridad y Tecnología de UNIDIR.

Tecnología sexista 

Noticias ONU: ¿Puede hablarnos de los impactos negativos de la desigualdad de género en el desarme y las tecnologías emergentes? 

Shimona Mohan:  Muchos de los ejemplos en torno a la tecnología de seguridad provienen de espacios civiles, porque la tecnología es la misma.

La misma tecnología que usas, por ejemplo, en tu iPhone para el reconocimiento facial es el tipo de tecnología que se utiliza en un dron sin tripulación para atacar objetivos militares en el campo de batalla. Así que la tecnología no cambia, pero su uso sí. Y debido a esa diferencia en la aplicación, también podemos prever algunos de los efectos dañinos que pueden surgir como resultado, especialmente cuando hablamos de género.

Ahora sabemos por muchas conversaciones sobre inteligencia artificial que hay un sesgo de género establecido, que se ve agravado continuamente por el tipo de datos y algoritmos que se utilizan en ella, y también por las personas que la programan.

Uno de los ejemplos que me gusta destacar es el del sistema de tarjetas de crédito de Apple, que se consideró inherentemente sexista por la forma en que otorgaba calificaciones crediticias bajas a las mujeres en comparación con los hombres. No había ninguna otra diferencia entre las mujeres y los hombres que solicitaban préstamos a través del sistema de tarjetas de crédito, además del hecho de que eran mujeres. Una vez que esto salió a la luz, Apple retiró ese sistema y tuvo que solucionarlo.

Ahora tenemos la AI generativa, que se ha convertido en un tema de conversación muy importante desde 2022. Hemos visto ChatGPT y aplicaciones de generación de imágenes como Midjourney y Dali, y todas tienen prejuicios de género que están integrados inadvertidamente en el sistema.

Así, por ejemplo, en las versiones iniciales de ChatGPT, si le preguntabas, cuéntame una historia sobre una niña y un niño, te decía que el niño se convirtió en un médico que tuvo mucho éxito, fue muy reconocido en su campo, etc. Y para la niña, decía que era muy hermosa, muy bonita. Se convirtió en una ama de casa genial.

Así que ese era el tipo de sesgo que se incorporó a estos conjuntos de datos, sin la supervisión de las personas que los estaban creando. Y cuando OpenAI les llamó la atención también intentaron arreglarlo. Pero, si se hace de forma aislada, los intentos de arreglarlo no cambian realmente todo el modelo.

El 92% de los desarrolladores son hombres 

Noticias ONU: ¿Cómo podemos abordar los sesgos inherentes? Y, ¿a nivel político? 

Shimona Mohan:  Desde una perspectiva sustantiva, analizamos lo que entra en el sistema y lo que viene como resultado. Por lo tanto, si está codificando sesgos, ya sea deliberados o inadvertidos, esos sesgos también generarán resultados sesgados. Esa es la perspectiva sustantiva. Así es como vemos cómo se comportan estas máquinas, cómo se construyen estas tecnologías.

La segunda forma en que pensamos en ellos, es a través de perspectivas participativas. ¿Quién está en la habitación cuando se diseñan? ¿Qué tan diverso es ese equipo? ¿Qué tan sensible y consciente es del género?

Es bien conocido que, en ciberseguridad, solo alrededor del 25% de la fuerza laboral son mujeres. Y cuando hablamos de ingeniería de software, ese nivel desciende aún más, ya que alrededor del 92% de los desarrolladores de programas son hombres. Lo que luego tiende a retratar el tipo de cultura laboral en la que prevalecen los prejuicios, sea intencional o no. Eso se convierte en algo que luego se codifica en los sistemas, pero se ignora.

La manera de contrarrestar ese tipo de sesgo es tanto desde una perspectiva sustantiva como participativa. Ese es el tipo de recomendación que hago en mi investigación.

Militarización de la inteligencia artificial 

Noticias ONU: ¿Qué es la militarización de la inteligencia artificial y las tecnologías emergentes? ¿Puede darnos algunos ejemplos?

Shimona Mohan: Es muy difícil definir cómo se emplea la inteligencia artificial en los campos de batalla. Simplemente porque la tecnología cambia cada pocos años y es difícil hacer un seguimiento de cómo lo ha hecho. La misma inteligencia artificial de la que hablábamos hace diez años no es de la que hablamos hoy. Como resultado, la forma en que se ha empleado en los campos de batalla también ha cambiado.

Una de las tecnologías más comunes de las que hablamos cuando hablamos de inteligencia artificial militar es la de los sistemas de armas autónomos letales. Son sistemas en los que hay muy poca o ninguna supervisión humana. Y esto puede ser, ya sea en forma de vehículos no tripulados, aéreos o terrestres o vehículos ecológicos. O pistolas centinelas.

Aparte de la perspectiva del campo de batalla, también está lo que respecta al funcionamiento logístico y administrativo del ejército, ya sea en la planificación, en la gestión de datos, y en cualquier sistema que utilice la inteligencia artificial para facilitar y acelerar la tarea militar.

Esto también puede incluir cosas como, por ejemplo, los traductores en algunas aplicaciones de inteligencia artificial que se usan en las fronteras nacionales. Muchos soldados están ahora equipados con estas herramientas instantáneas que traducen entre dos idiomas en la frontera en tiempo real.

Ahora tenemos toda esta nueva serie de tecnologías bajo la inteligencia artificial generativa. Y, como resultado, el potencial para su aplicación ha aumentado. Dado que esta tecnología es mucho más poderosa, hay mucho más potencial de casos de uso de aplicaciones de lo que nosotros podemos observar.

Estamos analizando cómo utilizamos la tecnología tanto en el campo de batalla como fuera de él. Los mismos sistemas que tienes en Netflix que recomiendan ver qué ver a continuación, pueden emplearse en situaciones de campo de batalla para recomendar un curso de acción determinado a los comandantes y operadores.

Desafíos globales 

Noticias ONU: ¿Cuál es el papel de las Naciones Unidas y del Instituto de Investigación sobre el Desarme para abordar los desafíos emergentes?

Shimona Mohan: Dado que estos desafíos no están limitados a una nación, una comunidad o una industria determinada, son de naturaleza global. Y no hay manera de que una sola entidad, un solo país, pueda encontrar una solución que pueda aplicarse a todos en todo el mundo.

Las organizaciones internacionales como la ONU desempeñan un papel muy importante para garantizar que haya una plataforma en la que diferentes Estados, organizaciones y personas puedan exponer su perspectiva sobre cómo deben gobernarse y, luego, contribuir a una conversación global en la que decidamos colectivamente cómo asegurarnos de que estos sistemas no afecten negativamente a nadie ni a ningún sector en particular de la sociedad.

También se requiere un banco sólido de conocimientos para que se sepa exactamente de qué se está hablando. E incluso si no se sabe, se tiene suficientes conjeturas para saber que está dentro del alcance de la conversación que estamos manteniendo. Y ese tipo de creación de conocimiento se produce a lo largo del tiempo a través de esfuerzos dedicados.

Ahí es donde entran en juego organizaciones como el mío, el Instituto de las Naciones Unidas de Investigación sobre el Desarme, porque llevamos a cabo investigaciones muy específicas sobre estas áreas temáticas en particular, ya sea la tecnología y seguridad, el desarme desde la perspectiva de las armas de destrucción masiva, las armas biológicas y químicas, el género, así como su uso en el espacio.

Analizamos todas estas áreas en detalle y elaboramos investigaciones que revelan brechas en la regulación. Después, los políticos que tengan preguntas acuden a estas discusiones para formular nuevas directivas.

En mi campo, la pregunta sería ¿dónde encaja el género en el tejido de la tecnología y seguridad? Una vez que tenemos ese conjunto de investigaciones, publicamos informes que una imagen más clara de lo que estamos viendo, lo que nos falta y lo que deberíamos ver. Y la conversación en los foros políticos se enriquece.

Por lo tanto, creo que lugares como la ONU son absolutamente fundamentales en este tipo de debates y para garantizar la construcción de un mundo seguro, no solo para las personas a las que más afecta hoy en día, sino también para todas las que podrían verse afectadas en el futuro.