Los algoritmos desempeñan un papel cada vez más importante en nuestras vidas, incluso cuando sus leyes son cada vez más evidentes: un hombre de Michigan “acusado” erróneamente de fraude tuvo que declararse en bancarrota; las herramientas de selección automatizada perjudican de forma desproporcionada a las personas de color que quieren comprar una casa o alquilar un apartamento; los usuarios negros de Facebook fueron objeto de más abusos que los blancos. Otros sistemas automatizados han calificado indebidamente a los profesores, han calificado a los alumnos y han marcado a las personas de piel oscura con mayor frecuencia por hacer trampas en los exámenes.
Ahora, se están realizando esfuerzos para comprender mejor el funcionamiento de la IA y responsabilizar a los usuarios. El Consejo Municipal de Nueva York aprobó el mes pasado una ley que exige auditorías de los algoritmos utilizados por los empleadores en la contratación o la promoción. La ley, la primera de este tipo en el país, exige a los empleadores que recurran a personas ajenas a la empresa para evaluar si un algoritmo presenta prejuicios basados en el sexo, la raza o la etnia. Los empleadores también deben informar a los solicitantes de empleo que viven en Nueva York cuando la inteligencia artificial desempeña un papel en la decisión de quién es contratado o promovido.
En Washington, DC, los miembros del Congreso están redactando un proyecto de ley que exigiría a las empresas evaluar los sistemas automatizados de toma de decisiones utilizados en áreas como la atención sanitaria, la vivienda, el empleo o la educación, e informar de los resultados a la Comisión Federal de Comercio; tres de los cinco miembros de la FTC apoyan una regulación más estricta de los algoritmos. Una Carta de Derechos de la IA propuesta el mes pasado por la Casa Blanca pide que se revele cuándo la IA toma decisiones que afectan a los derechos civiles de una persona, y dice que los sistemas de IA deben ser “cuidadosamente auditados” para comprobar su precisión y parcialidad, entre otras cosas.
En otros lugares, los legisladores de la Unión Europea están estudiando una legislación que exige la inspección de la IA considerada de alto riesgo y la creación de un registro público de sistemas de alto riesgo. Países como China, Canadá, Alemania y el Reino Unido también han tomado medidas para regular la IA en los últimos años.
Julia Stoyanovich, profesora asociada de la Universidad de Nueva York que formó parte del Grupo de Trabajo de Sistemas de Decisión Automatizados de la ciudad de Nueva York, dice que ella y unos estudiantes examinaron recientemente una herramienta de contratación y descubrieron que asignaba a las personas diferentes puntuaciones de personalidad en función del programa informático con el que habían creado su currículum. Otros estudios han descubierto que los algoritmos de contratación favorecen a los solicitantes en función de dónde fueron a la escuela, su acento, si llevan gafas o si hay una estantería de fondo.
Stoyanovich apoya el requisito de divulgación de la ley de la ciudad de Nueva York, pero dice que el requisito de auditoría es defectuoso porque sólo se aplica a la discriminación basada en el género o la raza. Dice que el algoritmo que califica a las personas en función del tipo de letra de su currículum pasaría por la ley porque no discrimina por esos motivos.
“Algunos de estos instrumentos son realmente absurdos”, dice. “Son cosas que realmente deberíamos saber como miembros del público y como personas. Todos nosotros vamos a solicitar trabajo en algún momento”.
Algunos defensores de un mayor escrutinio están a favor de auditorías obligatorias de los algoritmos, similares a las auditorías de las finanzas de las empresas. Otros prefieren “evaluaciones de impacto” similares a los informes de impacto ambiental. Ambos grupos están de acuerdo en que el campo necesita desesperadamente normas sobre cómo deben realizarse esas revisiones y qué deben incluir. Sin normas, las empresas podrían hacer un “lavado de ética” al concertar auditorías favorables. Sus defensores afirman que las revisiones no resolverán todos los problemas relacionados con los algoritmos, pero ayudarán a que los creadores y usuarios de la IA rindan cuentas legalmente.
Un próximo informe de la Liga de la Justicia Algorítmica (AJL), una organización privada sin ánimo de lucro, recomienda exigir la divulgación cuando se emplea un modelo de IA y crear un repositorio público de incidentes en los que la IA haya causado daños. El repositorio podría ayudar a los auditores a detectar posibles problemas con los algoritmos y ayudar a los reguladores a investigar o multar a los reincidentes. La cofundadora de AJL, Joy Buolamwini, fue coautora de una influyente auditoría de 2018 que descubrió que los algoritmos de reconocimiento facial funcionan mejor con hombres blancos y peor con mujeres de piel oscura.
El informe dice que es crucial que los auditores sean independientes y que los resultados puedan ser revisados públicamente. Sin esas salvaguardias, “no hay ningún mecanismo de rendición de cuentas”, dice la jefa de investigación de AJL, Sasha Costanza-Chock. “Si quieren, pueden enterrarlo; si se encuentra un problema, no hay garantía de que se aborde. Es desdentada, es secreta y los auditores no tienen ninguna influencia”.
Deb Raji es una becaria de la AJL que evalúa las auditorías, y participó en la auditoría de 2018 de los algoritmos de reconocimiento facial. Advierte que las grandes empresas tecnológicas parecen estar adoptando un enfoque más adverso a los auditores externos, a veces amenazando con demandas basadas en la privacidad o en la lucha contra el hackeo. En agosto, Facebook impidió a los académicos de la Universidad de Nueva York supervisar el gasto en publicidad política y frustró los esfuerzos de un investigador alemán para investigar el algoritmo de Instagram.
Raji pide que se cree una junta de supervisión de auditorías dentro de una agencia federal para hacer cosas como hacer cumplir las normas o mediar en las disputas entre los auditores y las empresas. Este consejo podría inspirarse en el Consejo de Normas de Contabilidad Financiera o en las normas de la Administración de Alimentos y Medicamentos para evaluar los dispositivos médicos.
Las normas para las auditorías y los auditores son importantes porque los crecientes llamamientos para regular la IA han llevado a la creación de una serie de startups de auditoría, algunas de ellas por parte de los críticos de la IA, y otras que podrían ser más favorables a las empresas que están auditando. En 2019, una coalición de investigadores de IA de 30 organizaciones recomendó auditorías externas y una regulación que crea un mercado para los auditores como parte de la construcción de la IA en la que la gente confía con resultados verificables.
Cathy O’Neil creó una empresa, O’Neil Risk Consulting & Algorithmic Auditing (Orcaa), en parte para evaluar la IA que es invisible o inaccesible para el público. Por ejemplo, Orcaa trabaja con los fiscales generales de cuatro estados de Estados Unidos para evaluar algoritmos de productos financieros o de consumo. Pero O’Neil dice que pierde clientes potenciales porque las empresas quieren mantener una negación plausible y no quieren saber si su IA perjudica a las personas o cómo lo hace.
A principios de este año, Orcaa realizó una auditoría de un algoritmo utilizado por HireVue para analizar las caras de las personas durante las entrevistas de trabajo. En un comunicado de prensa de la empresa se afirmaba que la auditoría no había encontrado problemas de exactitud o sesgo, pero no se intentó evaluar el código del sistema, los datos de entrenamiento o el rendimiento para diferentes grupos de personas. Los críticos dijeron La caracterización de la auditoría por parte de HireVue fue engañosa y poco sincera. Poco antes de la publicación de la auditoría, HireVue dijo que dejaría de utilizar la IA en las entrevistas de trabajo por vídeo.
O’Neil cree que las auditorías pueden ser útiles, pero dice que en determinados aspectos es demasiado pronto para adoptar el enfoque prescrito por la AJL, en parte porque no hay normas para las auditorías y no entendemos completamente las formas en que la IA perjudica a las personas. En su lugar, O’Neil es partidaria de otro enfoque: las evaluaciones del impacto de los algoritmos.
Mientras que una auditoría puede evaluar el resultado de un modelo de IA para ver si, por ejemplo, trata a los hombres de forma diferente que a las mujeres, una evaluación de impacto puede centrarse más en cómo se diseñó un algoritmo, quién podría resultar perjudicado y quién es responsable si las cosas van mal. En Canadá, las empresas deben evaluar el riesgo que supone para las personas y las comunidades el despliegue de un algoritmo; en EE.UU. se están desarrollando evaluaciones para decidir cuándo la IA es de bajo o alto riesgo y para cuantificar cuánto confía la gente en la IA.
La idea de medir el impacto y el daño potencial comenzó en los años 70 con la Ley Nacional de Protección del Medio Ambiente, que llevó a la creación de las declaraciones de impacto ambiental. Esos informes tienen en cuenta factores que van desde la contaminación hasta el posible descubrimiento de artefactos antiguos; del mismo modo, las evaluaciones de impacto de los algoritmos tendrían en cuenta una amplia gama de factores.
El profesor de derecho de la UCLA Andrew Selbst fue uno de los primeros en sugerir evaluaciones de impacto para los algoritmos. El AI Now Institute, varios de cuyos actores clave ahora asesoran a la FTC, respaldó un enfoque similar por parte de las agencias federales en 2018.
En un artículo de próxima publicación en el Harvard Journal of Law & Technology, Selbst defiende la documentación porque todavía no entendemos completamente cómo la IA daña a las personas. La investigación sobre los daños causados por los algoritmos sólo tiene unos pocos años, y se sabe muy poco sobre el impacto de la IA en grupos como las personas que se identifican como homosexuales, por ejemplo. La documentación de las evaluaciones de impacto, dijo, será necesaria para las personas interesadas en presentar demandas.
“Necesitamos saber cómo las numerosas decisiones subjetivas que se toman para construir un modelo conducen a los resultados observados, y por qué se pensó que esas decisiones estaban justificadas en su momento, para tener una oportunidad de desentrañar todo cuando algo sale mal”, dice el documento. “Las evaluaciones del impacto de los algoritmos no pueden resolver todos los daños de los algoritmos, pero pueden poner al sector y a los reguladores en mejores posiciones para evitar los daños en primer lugar y para actuar sobre ellos una vez que sepamos más”.
Una versión renovada de la Ley de Responsabilidad Algorítmica, presentada por primera vez en 2019, se está debatiendo ahora en el Congreso. Según una versión preliminar de la legislación revisada por WIRED, el proyecto de ley requeriría que las empresas que utilizan sistemas automatizados de toma de decisiones en áreas como la atención médica, la vivienda, el empleo o la educación lleven a cabo evaluaciones de impacto e informen regularmente los resultados a la FTC. Un portavoz del senador Ron Wyden (demócrata de Oregón), copatrocinador del proyecto de ley, dice que éste pide a la FTC que cree un repositorio público de sistemas de toma de decisiones automatizadas y pretende establecer un proceso de evaluación que permita una futura regulación por parte del Congreso o de agencias como la FTC. El proyecto pide a la FTC que decida qué debe incluirse en las evaluaciones de impacto y los informes de síntesis.
Fiona Scott Morton es profesora de la Escuela de Administración de la Universidad de Yale y fue economista jefe del Departamento de Justicia de EE.UU. durante la administración Obama. Cree que herramientas como las auditorías o las evaluaciones podrían cambiar la forma en que los tribunales y los jueces ven a las empresas que crean IA, porque es más fácil decir que un caso de daño causado por la IA fue un accidente que refutar la documentación de una auditoría o una evaluación de impacto. Pero Morton cree que es poco probable que el Congreso exija auditorías de los algoritmos; cree que es más probable que el cambio provenga de una orden ejecutiva del gobierno de Biden o de directivas de las agencias federales.
A lo largo del año pasado, personas con experiencia en documentar cómo la IA puede causar daños han destacado los pasos que consideran necesarios para que las auditorías y las evaluaciones de impacto tengan éxito y cómo pueden fracasar. Algunos extraen lecciones de los esfuerzos iniciales para regular la IA en todo el mundo y de los esfuerzos pasados para proteger a las personas o el medio ambiente de la tecnología peligrosa.
En agosto, el Centro de Ciberseguridad a Largo Plazo de la Universidad de Berkeley sugirió que una herramienta de evaluación de riesgos para evaluar la IA que está desarrollando el gobierno federal incluya factores como la huella de carbono de un sistema y el potencial para exacerbar la desigualdad; el centro sugirió que el gobierno adopte un enfoque más fuerte sobre la IA de lo que hizo para la ciberseguridad. La AJL también ve lecciones en las prácticas de ciberseguridad. Un informe de próxima aparición del que es coautor Raji pide a las empresas que creen procesos para gestionar los casos de daños causados por la IA de forma similar a como los trabajadores de seguridad informática tratan los fallos y las actualizaciones de los parches de seguridad. Algunas de las recomendaciones de AJL -que las empresas ofrezcan recompensas por sesgo, que informen públicamente de los incidentes importantes y que desarrollen sistemas internos para la escalada de los incidentes de daño- se basan en la ciberseguridad.
En un informe de principios de este año, investigadores de la Universidad de Cornell y de Microsoft Research insinúan que los auditores de IA aprendan de la forma en que los sociólogos trabajaban con las comunidades en los años 40 y 50 para documentar los casos de discriminación en las solicitudes de vivienda y de contratación.
Los autores insinúan que los auditores de algoritmos busquen formas más colaborativas de implicar a las comunidades y a la sociedad en la evaluación de los sistemas de IA. En el pasado, personas sin experiencia en el aprendizaje automático han identificado problemas con la IA. El año pasado, los usuarios ayudaron a descubrir el sesgo que discrimina a las personas de piel oscura en Twitter y Zoom. Estos descubrimientos llevaron a Zoom a ajustar su algoritmo y a Twitter a poner fin al uso de su IA para recortar fotos.
Otro informe, publicado en junio por el equipo AI on the Ground de Data & Society, sostiene que los activistas de la comunidad, los académicos críticos, los responsables políticos y los tecnólogos que trabajan por el interés público deberían participar en la evaluación de los algoritmos. El informe afirma que lo que se considera un impacto suele reflejar los deseos y necesidades de las personas en el poder. Si se hacen mal, dicen, las evaluaciones de impacto pueden reproducir las estructuras de poder existentes y permitir que las empresas y los gobiernos parezcan responsables, en lugar de dar a la gente común una forma de actuar cuando las cosas van mal.
De vuelta a Nueva York, Stoyanovich dice que espera que la disposición de divulgación de la nueva ley de la ciudad inicie un movimiento hacia el empoderamiento significativo de los individuos, especialmente cuando se trata de casos en los que el sustento o la libertad de una persona están en juego. Aboga por la participación del público en las auditorías de algoritmos.
“Realmente creo que éste no puede ser un espacio en el que todas las decisiones y arreglos provengan de un puñado de entidades expertas”, dice. “Tiene que haber un movimiento público aquí. A menos que el público ejerza presión, no podremos regular esto de forma significativa, y los intereses empresariales siempre prevalecerán.”
[content-egg module=Youtube template=custom/simple]Lo más visto del mes en: Política

Alberto Berrios
Escribo sobre productos relacionados con el audio desde pequeños altavoces inalámbricos hasta grandes sistemas Hi-Fi. No comparo estos productos con otros, sino que muestro los puntos fuertes y débiles de cada dispositivo separado. Si quieres saber si un determinado producto merece la pena, ¡consulta una de mis reseñas antes de hacer la compra! Gracias por leer, hasta la próxima.