Míriam Hatibi: “Lo peor de la discriminación algorítmica es que nadie es consciente de hasta dónde llega”

Los algoritmos ya no están solo en las redes sociales. Tienen un peso clave a la hora de decidir qué protección recibe una víctima de violencia machista, quién accede a ayudas públicas, qué empleado ha sido más productivo o a cuál convendría ir preparándole una carta de despido. La necesidad de aumentar la transparencia sobre estos sistemas para que no se conviertan en herramientas de discriminación ha motivado la creación de una Agencia de Supervisión de Algoritmos en el seno del Gobierno y empuja a las organizaciones sociales a tener esta problemática cada vez más presente.

Un objetivo que se hace difícil para algunas organizaciones sociales “porque necesitas hablar ese lenguaje que la mayoría de personas no hablamos porque no nos lo han enseñado”, explica Míriam Hatibi, activista antirracista miembro del colectivo AlgoRace. Pero es un obstáculo que se puede superar y el primer paso es “darse cuenta de la importancia que eso tiene para tu ONG, que la tiene en absolutamente todas”.

Para ayudar en ese propósito Lafede.cat, Espai Societat Oberta, Algorace y Algorights han organizado las Jornadas sobre Democracia, Algoritmos y Resistencias, que este viernes se celebrarán en Barcelona y el sábado en Madrid. “No muchas personas tienen la formación académica para entender este tema. Piensan que les queda muy lejos o que nunca lo van a llegar a entender. Lo que hay que hacer es naturalizar esas conversaciones, y ese es el objetivo de las jornadas”, explica Hatibi en esta entrevista con elDiario.es.

Usted es una activista antirracista. ¿Cómo empezó a trabajar con el problema de la discriminación que pueden acarrear las decisiones de la inteligencia artificial?

Yo trabajo en una consultora de comunicación en la que hacemos análisis de datos y comunicación digital. Ahí iba viendo cosas, no tanto sobre inteligencia artificial, sino sobre efectos de algoritmos a nivel de priorización de contenidos a partir de intereses de los usuarios. Al final el algoritmo, que parece muy inocente al recomendarte contenido personalizado, puede acabar llevándote hacia contenido tóxico, reforzando discursos de odio y encerrándote en tu comunidad.

Pero siempre lo había trabajado desde la perspectiva de comunicación. Cuando entré en AlgoRace no sabía absolutamente nada más. Desde que me uní al colectivo hemos ido viendo diferentes casos, aplicaciones y realidades de la discriminación a través de algoritmos. Cada vez que escuchas un caso te sorprendes porque lo peor es que nadie es consciente de hasta dónde llega esto.

¿Puede poner algún ejemplo de esa discriminación?

Hubo un caso que me sigue sorprendiendo mucho porque yo lo había visto desde el otro lado. Todo lo que es la comunicación de ayudas sociales a través de Internet y la digitalización de la administración hace que mucha gente se quede fuera. Todos los procesos de administración pública se están llevando tanto a lo digital y a que lo tengas todo en la palma de la mano, que esté en el móvil, que sea muy automático, que se está dejando fuera a todas esas personas que no tienen acceso a esa tecnología y que muchas veces son las que más necesitan esas ayudas.

Es solo la punta del iceberg de algo que es muchísimo más profundo, como los descartes automáticos de perfiles para acceder a ayudas sociales. A veces estos se dan simplemente porque las personas son migrantes. En Países Bajos ocurrió con personas de origen turco, a las que un sistema automático las asociaba directamente a una alta posibilidad de que hubiera un fraude en el caso de que recibieran esa ayuda y se les denegaba. Es un caso que llama mucho la atención porque creo que estamos muy acostumbrados a preguntarnos cómo puede ser que la administración pública se lo ponga tan difícil a la gente para pedir ayudas, pero la realidad va más allá, porque incluso al pedirlas, la forma en la que se tramitan puede estar tan automatizada que replique exponencialmente prácticas racistas.

¿Lo más difícil es darse cuenta de que se ha sido víctima de ella?

Es como cuando tú vas a hacer cualquier trámite con la administración pública o a hacer algún proceso y la persona en la ventanilla te dice que el sistema no le deja. Y tú dices “Bueno, pues ya está, ya veré qué hago, porque a esta persona que tengo delante el sistema no le deja hacer el trámite”. Pero ese sistema no deja de ser un sistema configurado por personas con sus propios sesgos al que simplemente hemos dado como bueno.

Un ejemplo: yo recuerdo que apuntándome a la bolsa de empleo del INEM me preguntaron que qué idiomas hablaba. Expliqué que hay dos que hablo a nivel nativo, y la persona me dijo que el sistema no le dejaba poner dos idiomas nativos. Te quedas como, bueno, hay personas que tienen más de un idioma materno y eso se tiene que poder registrar. Esto al final son anécdotas que las detectas porque son las de menos importancia, pero en las realmente relevantes, la mayoría de gente no sabe que está pasando y por lo tanto no puede pedir una una explicación ni responsabilidades, porque parece que esto es un fenómeno meteorológico, que se ha creado por arte de magia. La inteligencia artificial dice esto y yo aquí no puedo hacer nada.

Una de las principales quejas es la presencia de tecnología "racista" en la frontera con Marruecos, como cámaras de reconocimiento facial.

Hay permisividad con lo que pasa allí por parte de Europa e interesa que así sea. Todo lo que se está defendiendo en materia de protección de datos y regulaciones en control biométrico no se aplica a las personas migrantes y solicitantes de asilo que intentan cruzar la frontera. Ahí pasa todo lo contrario aplicando sistemas de reconocimiento facial que además de no funcionar con personas racializadas, son una vulneración más de los derechos humanos

En las jornadas va a participar en una charla sobre cómo introducir la lucha contra la discriminación digital en una organización antirracista.

Sí, con Safia Oulmane de GHETT'UP, que es una asociación francesa que trabaja con jóvenes en barrios marginales de París. Nace de la necesidad tan grande que existe de darnos cuenta de que eso es un problema. Hasta que la asociación no se da cuenta de que eso es así, no se plantea que debe ser uno de sus ejes. Es normal, porque si trabajas en lo social, nunca te va a nacer empezar a trabajar sobre algoritmos. No es como el tema del género o la pobreza, que quizás son ejes que tienes muy claro que se cruzan con el trabajo de una organización social. Pero cuando la asociación o alguna de las personas que están dentro se da cuenta de que esto va más allá y escuchan un caso de discriminación de este tipo, siempre dicen “Ostras, igual a nuestros usuarios esto también les está afectando”. Ahí es cuando empieza el movimiento.

¿Cómo empezar a trabajar contra ello?

Hay muchísimos recursos para empezar a formarse, sobre todo para tener una base que te permita entender. Lo trataremos en las jornadas. No es tanto saber de inteligencia artificial o entenderlo todo sobre la tecnología, sino tener una base para entender el lenguaje y, desde ahí, saber encontrar los recursos que te ayuden a detectar casos y denunciar, aunque sea a través de otras personas que te ayuden a entender lo que está pasando.

Lo que está claro es que necesitas hablar ese lenguaje que la mayoría de personas no hablamos porque no nos lo han enseñado. No existía esta problemática cuando se diseñaron los currículums educativos y ahora es súper natural. Yo creo que hay que darse cuenta de la importancia que eso tiene para tu ONG, que la tiene en absolutamente todas. No hay ninguna ONG que a día de hoy pueda decir que la inteligencia artificial a mí no me afecta. Hay que tener claro que va a afectar a tus usuarios y por lo tanto es relevante para ti.

¿Existe el riesgo de que la lucha contra la discriminación algorítmica la abanderen personas que han tenido acceso a una formación tecnológica, que a menudo no son las que más afectadas se ven por el problema?

Totalmente. Eso es una conversación que hemos tenido un montón de veces en los colectivos y organizando las jornadas. Una de las prioridades era encontrar la forma de que colectivos de personas racializadas participaran y las hicieran suyas.

No muchas personas tienen la formación académica para entender este tema. Piensan que les queda muy lejos o que nunca lo van a llegar a entender. Lo que hay que hacer es naturalizar esas conversaciones, y ese es el objetivo de las jornadas. Hay personas racializadas que creen que es un lenguaje que no van a poder controlar, o es un campo en el que no se van a poder defender y al final acaban haciéndose siempre los algoritmos y todos esos sistema de decisión automática partiendo desde las mismas perspectivas. Muchas veces los sesgos ni siquiera son intencionados, es que son simplemente un fallo de no haber podido hacerlo mejor porque los diseñan equipos que no son inclusivos. Que no es excusa, pero también pasa.

¿Ha habido interlocuciones con el otro lado? ¿Con instituciones o empresas que pueden estar empleando algoritmos racistas?

Se ha hablado sobre todo con formaciones políticas y lo que hay es una intención de hacerlo bien, aunque la mayoría no saben muy bien por dónde empezar. Ahí lo principal es apoyarse en la transparencia, porque al final es un tema que afecta a toda la sociedad y solo una parte lo impulsa, puede estar afectando negativamente a otra y que no lo sepa. Si el principio de la democracia es la transparencia, pues con más razón tiene que haberla en este sentido.

A veces también existe la sensación de que no es para tanto y de que la inteligencia artificial es un sistema automático que no puede tener sesgos, sino que es lo más objetivo que puedes tener. Afortunadamente esa visión ya está cayendo y poco a poco hay empresas que se van dando cuenta de ello, de que pueden estar aplicando un sistema que puede cometer errores.