El sistema de violencia de género falla, ¿la inteligencia artificial nos salvará?

Lina fue asesinada en Benalmádena pese a que había pedido una orden de alejamiento que le fue denegada. Otro asesinato machista. Otro más. Algo falla. Dice la actual ministra de Igualdad, Ana Redondo, que el problema está en que no se denuncia lo suficiente. Pero, ¿cómo se denuncia? ¿Con qué herramientas? ¿Quién gestiona estas denuncias? O más bien, ¿qué?

Mientras tanto, de todas las medidas que existen concretamente en torno a la violencia de género, poco se habla de las herramientas digitales que existen, como el sistema Viogen. Conocido formalmente como Sistema de Seguimiento Integral en los casos de Violencia de Género, es un sistema de predicción de riesgo de violencia de género implementado en el Estado español (excepto en Cataluña y el País Vasco -en este último utilizan EPV-R-) desde 2007. Esta herramienta fue desarrollada por el Ministerio del Interior con la función de informar a Guardia Civil y Policía Nacional sobre nivel de riesgo de violencia “contra la mujer” para mejorar la efectividad de detección de casos de riesgo.

Es importante entender que esta herramienta recoge información diversa: datos personales del presunto agresor y de la mujer (nivel educativo, formación, situación laboral, estado civil), características del presunto agresor (registro de delitos pasados u órdenes de alejamiento previas) y características de la víctima (como el apoyo que recibe o la asistencia en centros de acogida).

Tal vez la propuesta sería aumentar las denuncias y así tener mejor entrenados esos sistemas algorítmicos para que fueran más eficaces en la detención de la violencia y la protección. Pero siempre me asaltan dudas porque, por lo general, estos sistemas son desarrollados con claros sesgos, y de poco serviría que aumenten las denuncias si todo el Cuerpo de Policía entiende que 15 amenazas de muerte no son una situación riesgo, por ejemplo, lo cual se trasladaría a cómo lo interpreta el sistema. A esto hay que añadir que hay bastante opacidad sobre su funcionamiento porque no existe un registro público sobre algoritmos para la toma de decisiones y bases de datos utilizados en la administración pública.

Es destacable en este sentido último que el sistema VioGen es de los pocos que ha sido sometido a una auditoría, a cargo de la Fundación Éticas a VioGen (con la reticencia del órgano responsable del sistema, el Ministerio de Interior), donde se revelaron varios problemas graves: subestimar el riesgo para las víctimas, 71 falsos negativos y otras 55 mujeres asesinadas que recibieron una orden de protección que resultó ser insuficiente. Además, el estudio añade que existe una falta de representación de grupos sociales como las mujeres migrantes (destacando el condicionamiento por su situación administrativa), así como falta de transparencia, ya que al 35% de las mujeres que aparecen en el estudio no se les informó sobre su puntuación de riesgo.

Los sistemas algorítmicos no van a propiciar justicia por sí mismos debido a que se conforman con la neutralidad de los sesgos antropocéntricos, europeos, blancos y patriarcales que habitan nuestra sociedad

En todo esto me resuena Quemallita, parte del Grupo Semilla de AlgoRace, donde discuten sobre sistemas algorítmicos, inteligencia artificial y derechos sociales, y que señalaba en un reciente artículo cómo se romantizan estos sistemas al dotarlos de objetividad, como si una supuesta objetividad supusiera eficacia: “Como explica la matemática y activista Caty O’Neil en Armas de Destrucción Matemática (Capitán Swing), los modelos son una simplificación del mundo en el que vivimos y, como tal, nunca podrán incluir toda su complejidad.”

Aunque amemos que nos hagan la vida más sencilla, como simplificación, los sistemas algorítmicos fallarán en caso de que su intención sea prevenir agresiones y asesinatos por violencia machista, presuponiéndolo especialmente en un contexto de regresión en materia de género y en todos los aspectos sociales. Los sistemas algorítmicos no van a propiciar justicia por sí mismos debido a que se conforman con la neutralidad de los sesgos antropocéntricos, europeos, blancos y patriarcales que habitan nuestra sociedad. Al estar estas corporaciones constituidas mayormente por este perfil, no ha de extrañar que estén promocionando sesgos supremacistas y llenos de odio neutral, tal y como vemos con la ideología de Silicon Valley y la tendencia actual que asoma a un nuevo modelo tecnofeudalista.

Para que tanto la IA como los algoritmos fueran neutrales, justos y propiciaran la defensa y promoción de derechos sería necesario entonces una democratización y transparencia del funcionamiento de estos. Y en el caso de VioGen más, aun no excluyendo parámetros sociales, especialmente desde que se anunció un VioGen 2 y el ministro del Interior celebró que se apoya en los mismos parámetros con las que se desarrolló VioGen: “La combinación de la tecnología más avanzada con la experiencia y el criterio de los agentes policiales especializados”. ¿Dónde están las voces expertas de la intervención social en violencia de género?

No es necesario arrinconarse en un llamado de denuncia, ilustrándolo de objetividad, transparencia y eficacia sino más bien abordar algo más que la violencia de género. Hay que pensar en violencia machista, revisando e implementando los recursos necesarios y ampliando más allá de una tirita en un tanque que hace aguas por todos lados.