En 2020, se reveló que los funcionarios fiscales holandeses señalaron injustamente a miles de padres como evasores de impuestos después de perfilarlos racialmente. El gobierno había manipulado un algoritmo para señalar a personas con doble nacionalidad y un “nombre que suena extranjero”, utilizando los criterios como indicadores de presunto fraude en las reclamaciones de prestaciones de cuidado infantil.

La caza del fraude dejó a miles de familias endeudadas y en la pobreza. Los padres perdieron sus casas mientras intentaban devolver decenas de miles de euros que los funcionarios fiscales intentaron recuperar injustamente.

Se convirtió en el mayor escándalo político en los Países Bajos en años, lo que llevó al gobierno a dimitir un año después. El entonces primer ministro Mark Rutte lo calificó como una “página oscura en la historia del gobierno holandés” en la carta de renuncia de su gabinete en enero de 2021. A pesar del escándalo, Rutte mantuvo su cargo tras nuevas elecciones.

“Es el peor temor hecho realidad en este uso público de algoritmos”, dijo Henrik Trasberg, asesor legal en nuevas tecnologías del Ministerio de Justicia de Estonia, sobre las revelaciones holandesas. Los algoritmos “impulsaron muy claramente lo que estaba haciendo la agencia pública (y) sobre quién estaban realizando sus investigaciones”, dijo. El Parlamento.

Para los activistas de derechos digitales, los eventos holandeses sirven como una advertencia sobre lo que puede suceder cuando las administraciones públicas implementan algoritmos sin una supervisión adecuada y sin capacitación en derechos fundamentales. “Existe un riesgo enorme que conlleva el uso de la IA por parte de las autoridades públicas o las fuerzas del orden, especialmente al reforzar la discriminación existente”, dijo Chloé Berthélémy, asesora principal de políticas de European Digital Rights, una ONG con sede en Bruselas.

No obstante, un informe de julio del organismo holandés de vigilancia de la privacidad AP encontró que las autoridades públicas (incluidos los municipios, la policía, la agencia de seguros de los empleados y una agencia de educación) continuaron empleando algoritmos discriminatorios durante 2023.

“El escándalo de las prestaciones sociales ha conmocionado a todo el mundo, pero poco ha cambiado”, informó el organismo de control.

Un portavoz del gobierno holandés dijo El Parlamento ha introducido varias políticas e instrumentos para evitar el uso de algoritmos discriminatorios, educar a las entidades del sector público y fomentar el uso responsable de algoritmos y sistemas de inteligencia artificial. El organismo holandés de vigilancia de la privacidad “ve estos acontecimientos de manera positiva”, dijo, pero reconoció que el organismo “sigue siendo crítico con el progreso del sector público”.

Con su potencial para mejorar la toma de decisiones y aumentar la eficiencia en un contexto de presupuestos públicos cada vez más reducidos y una presión constante para hacer más con menos, la IA tiene un tremendo atractivo para el sector público y está siendo rápidamente adoptada por los gobiernos de todos los niveles en toda la UE.

Un estudio de 2022 de la Comisión Europea documentó 686 casos de uso de IA en el sector público en los 27 estados miembros de la UE, junto con Ucrania, Suiza, Moldavia y Noruega. El informe señaló que la adopción de la IA por parte del gobierno probablemente aumentaría en los próximos años, pero también describió la experiencia y la competencia en IA dentro de las agencias públicas como “bajas”.

“Todos los gobiernos de la UE, incluidos los estonios, ven la IA como una solución muy, muy importante (para) nuestras ambiciones políticas”, dijo Trasberg. Pero añadió: “El uso de la IA en el sector público tiene que respetar los derechos fundamentales, y tenemos que garantizar que sea lo suficientemente transparente y que exista rendición de cuentas”.

El enorme potencial de la IA se refleja en los efectos discriminatorios que puede producir. El escándalo holandés fue un caso atípico, ya que los propios funcionarios manipularon el algoritmo para que los padres de bajos ingresos, los padres solteros y los padres con nacionalidad extranjera recibieran una puntuación de riesgo de fraude más alta a partir de 2016, según un informe parlamentario de 2020.

El escándalo se produjo tras una estafa de beneficios en 2013 que le había costado al gobierno holandés alrededor de 4 millones de euros, lo que sometió a los funcionarios fiscales a una intensa presión por parte de los legisladores para que tomaran medidas enérgicas contra el fraude en los años siguientes. Más comúnmente, los sistemas de IA discriminan involuntariamente porque están entrenados en conjuntos de datos que incorporan las suposiciones raciales o de género de sus desarrolladores y de los clientes que encargaron el software, dicen los expertos.

“La tecnología no es neutral. No está concebido de manera inmaculada”, dijo Berthélémy, citando como ejemplo la vigilancia policial predictiva, mediante la cual los algoritmos se entrenan con grandes cantidades de datos históricos para predecir y ayudar a prevenir posibles delitos futuros. La práctica, dijo, “se dirige a comunidades que ya están marginadas y en su mayoría racializadas”.

El costo humano de la IA

Cuatro años después, el escándalo holandés destaca por el profundo costo humano que causó. Pero las agencias públicas de otros países (incluidos Dinamarca, Francia, España y Serbia) continúan utilizando sistemas de inteligencia artificial para atacar a presuntos estafadores de beneficios con algoritmos que parecen señalar de manera desproporcionada a ciertos grupos, según ONG locales y una investigación internacional de 2023 realizada por Lighthouse Reports, una Organización colaborativa de redacción sin fines de lucro.

En Dinamarca y Francia, se escribieron algoritmos para asignar un factor de riesgo más alto en función de la nacionalidad o los bajos ingresos, mientras que en Serbia los “datos no representativos” están reforzando la discriminación existente, según Amnistía Internacional.

“Se puede ver exactamente la misma tendencia en todos esos países donde las personas de comunidades marginadas, personas con ingresos más bajos, madres solteras, comunidades romaníes, son mucho más objetivo de ese tipo de algoritmos de búsqueda o detección de fraude”. dijo Berthélémy. “La diferencia con los Países Bajos, y se lo concedo, es que el impacto en los Países Bajos ha sido mucho más documentado”, añadió.

No ha habido investigaciones de este tipo por parte de una autoridad pública ni informes oficiales en otros países de la UE que hayan utilizado tecnologías de puntuación de riesgo de fraude, ni las agencias públicas locales han reconocido haber participado en ninguna discriminación algorítmica.

Mientras tanto, en 2020, los funcionarios holandeses admitieron que el racismo institucional había desempeñado un papel importante en el escándalo de las prestaciones por hijos. Un contundente informe de 60 páginas emitido por el organismo de control de la privacidad del país mostró que los funcionarios tributarios habían incurrido en comportamientos discriminatorios e ilegales al retener información sobre las nacionalidades de 1,4 millones de padres. Un informe separado de 2023 de la oficina de estadísticas del país encontró que el 71% de los padres acusados ​​de fraude eran inmigrantes de primera o segunda generación, el 44% de los cuales provenían de los hogares de ingresos más bajos del país.

“Un gran problema en torno a la discriminación algorítmica y la discriminación en general es su invisibilidad”, dijo Raphaële Xenidis, profesora asistente en Sciences Po en Francia, cuya investigación se centra en la discriminación y la ley de igualdad europea.

Límites de la Ley de IA

Adoptada en marzo, la Ley de IA es el intento de la UE de poner barreras a la tecnología naciente y trazar un enfoque regulatorio pionero y claramente europeo que se centra en una IA “confiable” y “centrada en el ser humano”. Pero, dos semanas después, una coalición de una docena de ONG condenó el reglamento de la UE por no contener salvaguardias suficientes para disuadir a las entidades públicas de participar en la discriminación impulsada por la IA.

La Ley de IA contiene una excepción importante para las autoridades policiales y migratorias, que les permite utilizar los llamados sistemas de IA de alto riesgo, como el reconocimiento facial, sin divulgación pública. A diferencia de las empresas privadas, estas autoridades no tendrán que revelar los resultados de las evaluaciones de riesgos obligatorias sobre el impacto de la tecnología en los derechos fundamentales de la UE, como la justicia, la dignidad y la igualdad.

Por su parte, un portavoz de la Comisión Europea dijo que la ley sobre IA exige que los organismos encargados de hacer cumplir la ley realicen “evaluaciones exhaustivas” sobre cómo las actividades afectan los derechos fundamentales para garantizar que cualquier riesgo potencial se gestione de manera efectiva.

Sergey Lagodinsky, eurodiputado alemán de los Verdes, dijo El Parlamento que los legisladores al menos pudieron llamar la atención sobre los riesgos de la tecnología en el período previo a la aprobación de la Ley de IA. “Eso es todo lo que podemos hacer en este momento”, afirmó, añadiendo que muchos eurodiputados habrían preferido más prohibiciones de tecnologías como la vigilancia biométrica masiva, y menos exenciones.

“Pero éramos realistas en nuestras expectativas. Sabíamos que si nos sentábamos frente a 27 ministerios del interior y 27 gobiernos, no podríamos lograr una posición 100% parlamentaria”. Los países miembros de la UE han subrayado que la seguridad nacional es su dominio.

¿El bien público?

Para Lagodinsky, la sociedad se encuentra en un momento crítico en lo que respecta a la regulación de la IA y la adopción de salvaguardas que protejan contra la discriminación algorítmica. “No soy una especie de legislador de Black Mirror. No creo que las máquinas y los robots vayan a controlarnos”, dijo, refiriéndose al programa de televisión distópico centrado en la tecnología. Pero añadió: “Existe la posibilidad de que se produzcan acontecimientos que podrían salirse de control, y no queremos eso”.

Expertos como Xenidis esperan más escándalos como el holandés en los próximos años. Si bien está madurando entre las empresas y entidades públicas la conciencia sobre los prejuicios y la discriminación en los sistemas de IA, ella cree que la discriminación está arraigada en nuestro tejido social e inevitablemente será reproducida por las herramientas de IA. “No sé hasta qué punto volverá a suceder, pero seguramente volverá a suceder”, afirmó.

Xenidis también argumentó que culpar por la discriminación automatizada a los servidores públicos que manejan el software pasa por alto dinámicas sociales más amplias, incluida la falta de conciencia sobre la discriminación y una creencia generalizada de que la tecnología es neutral.

“Por las capacitaciones que he realizado, las personas con las que he hablado, son personas que muy a menudo creen en el bien público y eso es lo que hace que la discriminación algorítmica sea aún más cruel en cierto modo”.