Dos aspectos destacan en el proyecto de ley sobre la inteligencia artificial (IA) que el Consejo de Ministros ha aprobado este 26 de mayo. El coto a los deepfakes (o suplantaciones de identidad a través de contenidos audiovisuales) y el social scoring (hacer una evaluación automática de un ciudadano, rasgos o su comportamiento para aplicar, por ejemplo, una sanción o premio).
Los dos son asuntos nada abstractos que contemplaba el Reglamento Europeo de IA de 2023, que traspone este proyecto de ley español. La norma respondía, entonces, a casos muy concretos vividos en la UE, con consecuencias catastróficas.
A principios de año, empezó a ponerse de moda pedir a la IA de X, Grok, ‘desnudar’ a mujeres, alterando de forma automática fotografías de personas reales con la que la máquina generaba imágenes sin ropa. Esta era sólo la punta de un iceberg de los deepfakes. El 99% de estas generaciones está orientado a humillar a mujeres desde, al menos, 2022, según el State of deepfake 2023. Y 1,2 millones de niños (y niñas, sobre todo), son víctimas de estas alteraciones algorítmicas para sexualizarlos, según UNICEF.
En cuanto al social scoring, hay en la historia un caso que arruinó miles de vidas y la dimisión del gobierno neerlandés de Mark Rutte. Tal y como recoge el capítulo 23 de Esto no ha pasado, en 2013 la agencia tributaria neerlandesa empezó a usar un sistema algorítmico de riesgo para detectar posibles fraudes en las ayudas para guarderías. El programa cruzaba diecisiete categorías de datos. El resultado fue que cerca de 26.000 familias, en su mayoría de barrios obreros y con doble nacionalidad o ascendencia extranjera, fueron acusados de fraude y tuvieron que devolver decenas de miles de euros sin que mediara prueba alguna. El algoritmo funcionaba como una caja negra. Ni siquiera los funcionarios que recibían los listados sabían por qué el sistema señalaba a quien señalaba.
En febrero de 2020, el sistema fue declarado ilegal (en este caso, no por un uso irregular de la IA, sino por violar derechos humanos) tras la batalla de una abogada española en Países Bajos. El algoritmo, por ejemplo, había predicho que esas familias tenían un enorme riesgo de desahucio. Y, en efecto, acertó. Pero porque provocó su ruina al clasificarlas como defraudadoras, de forma errónea y sesgada. Profecía autocumplida.
La IA, como máquina para hacer profecías autocumplidas
El caso ilustra lo que la filósofa Carissa Véliz en conversación con Mario Viciosa en Esto no ha pasado. La profesora del Instituto de Ética en Inteligencia Artificial de la Universidad de Oxford y autora de Profecía, define como la línea roja del problema. “Una cosa es predecir sobre cosas, como por ejemplo las nubes, y eso no cambia las nubes. Va a llover o no va a llover y no depende de tu predicción. Pero otra cosa muy diferente es hacer predicciones sobre seres humanos y en especial sobre individuos, porque eso tiene un efecto fundamental en la vida de esas personas”, explica Véliz.
“Eso quiere decir que [la IA] no es una empresa científica, sino que puede ser política y social”. La filósofa insiste en que estos sistemas no son neutros y critica la idea raíz misma del algoritmo predictivo. “Los algoritmos son muy conservadores. Por eso son tan sexistas y tan racistas, porque están basados en el pasado y porque además son una máquina de hacer dinero. No están hechos para ser verdad o para apoyar la democracia”. La predicción, añade, opera en bucle. “La idea que te venden [los magnates de la IA] es que están viendo algo como si ya estuviera escrito. Pero el futuro nunca está escrito y lo que hacen es moldear el futuro”.
El proyecto español prohíbe expresamente, en línea con el Reglamento europeo, los sistemas de IA que puedan derivar en clasificación discriminatoria de ciudadanos, junto con la manipulación subliminal, la explotación de vulnerabilidades por edad, discapacidad o situación socioeconómica, y la identificación biométrica masiva en espacios públicos. Esto último, ¿un despliegue de hipervigilancia ciudadana que desarrollará los sesgos inherentes a su entrenamiento?
Coto al reconocimiento masivo de personas por sus rasgos físicos
En el capítulo 4 de Esto no ha pasado, Anil Jain, considerado el padre científico de la biometría, insiste en que el problema no es la tecnología en sí, sino los guardarraíles que la rodean. “Cada vez que avanzamos en una tecnología, tenemos que protegerla. El Reglamento Europeo ya obliga a que haya un consentimiento expreso del usuario (para ser fichado). Si se va a usar reconocimiento facial en un estadio, todos los espectadores tienen que dar permiso, y ese permiso debe especificar para qué se recoge esa imagen y cuánto tiempo se va a conservar”, ejemplifica este profesor de la Universidad del Estado de Míchigan (EE.UU.).
El investigador, que desarrolló el controvertido sistema de identificación biométrica de la India, advierte en el capítulo de un riesgo creciente con los operadores privados que recopilan datos biométricos sensibles. “Empresas como Worldcoin, detrás de la cual está Sam Altman (OpenAI, ChatGPT), ofrecía una criptomoneda a cambio de escanearte el iris del ojo (rasgo único, como la huella dactilar). Empezaron en países en vías de desarrollo hasta que el gobierno los expulsó. Los gobiernos español y europeos deberían vigilar muy de cerca para qué se recopilan esos datos y dónde acaban”.
Coto europeo a los cibermagnates de EE.UU.
En la misma conversación en Esto no ha pasado, el filósofo Daniel Innerarity, titular de la cátedra de IA y Democracia en la Universidad del País Vasco, sitúa esa deriva en un terreno más amplio, con un vicio de base: “No hay datos del futuro” y los datos son el alimento de estos algoritmos, arrastrando sesgos.
Apunta una paradoja sobre algunos dueños de estas grandes plataformas de IA: “Después de haberme leído a los grandes señores tecnológicos, me preocupa lo ignorantes que son. Dista la inteligencia que tienen en relación con la tecnología y lo poco que saben de la psicología humana, la democracia, el comportamiento social de la gente. Estamos tecnológicamente gobernados por gente muy ignorante“.
En el capítulo 24 de Esto no ha pasado, el ciberactivista y profesor de la Universidad de Cornell Cory Doctorow explica que Europa sólo será eficaz poniendo coto a los desmanes algorítmicos ganando soberanía digital. “Las grandes empresas hacen cautivos a sus reguladores, y esos reguladores aprueban políticas que permiten que las empresas se hagan aún más grandes”, explica.
Para él, se abre una ventana de oportunidad paradójica. La UE puede ahora regular la IA u otras prácticas de las grandes tecnológicas de EE.UU. sin temer tantas represalias comerciales por parte de Donald Trump… en tanto Trump ya nos aplica o amenaza con aranceles por otras razones. “Podría ser mañana mismo, si quisiéramos”.