Recuerdo en una pequeña discusión con un contertulio de marcada ideología neoliberal que, cuando le comenté que sería muy importante que la ética rigiera los asuntos económicos, me respondió un tanto sobresaltado que si yo pretendía convertir la economía en una sharía.

Me resultó chocante que algo que yo daba prácticamente por sentado no fuera obvio para todo el mundo. Y aún más me sorprendió que alguien ligara la ética a la religión o, incluso, a alguna forma de fundamentalismo radical. Quizá estaba dando demasiadas cosas por sentadas, así que voy a explicarme mejor.

La ética es una disciplina académica que, a priori, no tiene absolutamente nada que ver con la religión. No es algo mágico, místico, pseudocientífico, o irracional. Todo lo contrario. La confusión de mi querido contertulio consistía en no diferenciar ética de moral. Ésta segunda se refiere al conjunto de principios, normas o preceptos que rigen la convivencia de una comunidad. Así, el cristianismo o el Islam proponen un amplio corpus de normas, por lo que sí cabe hablar de moral cristiana o musulmana. Pero la ética no es eso. La ética es la reflexión sobre la moral. Entonces, si yo digo que la ética debe regir los asuntos económicos no estoy diciendo, para nada, que algún tipo de preceptos religiosos rijan el desarrollo económico. Estoy sosteniendo la necesidad de una reflexión racional sobre las decisiones que se toman. Y esa necesidad no atañe solo la economía, sino a todos y cada uno de los elementos que conforman la sociedad, siendo más prioritaria en los que más consecuencias tengan para todos nosotros. En nuestro tiempo, el tema sobre el que reflexionar es, sin duda alguna, la inteligencia artificial, la tecnología que más impacto va a tener (y está teniendo) en nuestras vidas. Así que no perdamos más tiempo en aclaraciones.  

Los algoritmos se han convertido en elementos clave en los que se basan los servicios e infraestructuras sociales de las llamadas sociedades de la información. No solo se usan para recomendarnos series en Netflix o vídeos en YouTube, sino que escuelas, hospitales, empresas, instituciones financieras, policiales y judiciales, e incluso gobiernos, los utilizan para tomar decisiones. Por regla general, los algoritmos de machine learning (ML) analizan cantidades masivas de datos en busca de encontrar patrones. Su heurística no opera causalmente, sino que solo busca correlaciones, lo cual tiene el serio problema de caer fácilmente en correlaciones ilusorias o apofenias. Por ejemplo, si tenemos un algoritmo analizando la criminalidad en una ciudad norteamericana y sus datos le indican que la mayoría de los crímenes son cometidos por personas de color, la máquina puede inferir que ser de color es una posible causa de criminalidad.  También puede cometer errores debido a la mala calidad de los datos: su insuficiencia, su falta de pertinencia o relevancia para el problema a tratar, o, lo más habitual, que los datos vengan ya sesgados. Incluso si el sistema es controlado, en último término, por un humano, puede darse el conocido como sesgo de automatización: conceder mayor credibilidad a la decisión tomada por el algoritmo que a la de un humano, incluso cuando parece que el humano lleva la razón. Un ejemplo muy sonado fue cuando el software COMPAS, utilizado por muchos juzgados norteamericanos para predecir las probabilidades de reincidencia de los presos, aparte de tener un marcado sesgo racista y de dar muchos falsos positivos, era más tenido en cuenta por los jueces que los acuerdos a los que llegaban fiscalía y abogados.

Pero es que el asunto se hace más peliagudo si cabe. Los algoritmos de ML tienen una cualidad que hace que sea muy difícil entender su funcionamiento: almacenan el conocimiento de forma distribuida. Si levantamos la tapa del capó de una de estas máquinas y contemplamos cómo funciona, solo aparece ante nosotros una inmensa maraña de pesos sinápticos, una gigantesca tabla de numérica que no parece decir absolutamente nada. No hay un lugar preciso y bien localizado en donde se nos indique por qué y cómo se tomó la decisión. Esto se llama opacidad algorítmica o problema de la caja negra. Para conseguir paliar esta oscuridad se ha creado una nueva disciplina: la inteligencia artificial explicable (XAI). Se intenta pasar esta ininteligible amalgama de datos a fórmulas que sean comprensibles para el humano como, por ejemplo, árboles de decisión. Sin embargo, las arquitecturas de ML suelen ser muy grandes y complejas, y parece una regla que cuanto más grande y preciso es un sistema, menos explicable resulta. Además, la mayoría de los análisis son hechos por los mismos diseñadores y solo estudian partes locales de las redes en busca de mejorar su rendimiento, sin preocuparse por explicar ni comprender nada. Desgraciadamente, intentar explicar es caro y trabajoso, por lo que no resulta una prioridad para unos desarrolladores, únicamente centrados en criterios tecnológicos y económicos. Incluso existen autores como David Dansk, Axel J. London o Marion Oswald que defienden que centrar excesivamente la atención en la transparencia podría ser perjudicial para la investigación y desviar recursos destinados a mejorar la seguridad, el rendimiento y la precisión. Sea como sea, lo cierto es que los algoritmos de ML suelen ser bastante opacos.

Esto es muy importante porque puede afectar mucho a su robustez. Si tenemos un algoritmo de ML e ignoramos su funcionamiento, solo podemos saber si lo hace bien probándolo. Pero podría darse el caso en que nuestro algoritmo funciona estupendamente con un tipo determinado de datos, mientras que falla estrepitosamente con otros. Si solo la probáramos con los del primer tipo, podríamos pensar que estamos ante un buen producto, seguro y listo para sacar al mercado. La tecnología está yendo por delante de nuestro conocimiento, y de nuestras lentas legislaciones, y eso suena bastante peligroso. En el artículo de 2017 “Robust Physical-World Attacks on Deep Learning Models”, investigadores de diversas universidades mostraron como con los llamados ataques adversarios se podían generar pequeños cambios en imágenes de señales de tráfico capaces de confundir completamente a los programas de conducción de vehículos autónomos.  Un terrorista que quisiera provocar un accidente solo tenía que colocar una pegatina determinada en un tipo de señal y quedar a la espera de que un coche autónomo se confundiera. Lo importante aquí es entender que la inteligencia artificial comete errores completamente diferentes a los que cometemos los humanos, por lo que, si no comprendemos bien su funcionamiento, no podemos saber ni cómo ni cuándo fallarán.

Bien, los algoritmos no son perfectos, pueden fallar y además no comprendemos bien las decisiones que toman, pero ¿qué tiene esto que ver con la ética? Todo. Porque en la medida que estamos dejando que tomen decisiones, estas decisiones plantean problemas éticos. Por ejemplo, si un algoritmo al servicio de un banco decide no concederte un préstamo parece muy razonable saber la causa de que no lo haga. El algoritmo debería poder justificar su decisión para comprobar que se ha basado en criterios éticamente aceptables. Si no me ha dado el préstamo por razones de sexo, raza, religión, etc. estaría no solo siendo inmoral, sino que estaría violando la ley.

Y aquí surgen dos grandes cuestiones. En primer lugar, hace tan solo unos pocos años, si un programa funcionaba mal y causaba algún daño, el responsable obvio era el programador. Sin embargo, si los algoritmos son capaces de aprender y de tomar decisiones en función de su aprendizaje, esas decisiones no estarían directamente tomadas por el programador, por lo que él podría exonerarse de la culpa pero… ¿el responsable sería una máquina? ¿Un conjunto de líneas de código puede ser responsable legal de algo? Surge la necesidad de nuevas figuras legales o de, al menos, medidas que aborden el problema. Y en segundo lugar, b. Además, las redes profundas pueden hacerse más opacas artificialmente sin disminuir su efectividad. Una empresa podría difuminar la evolución del aprendizaje de su sistema para que fuera más complicado trazar el rastro de la decisión y librarse de cualquier responsabilidad.

Algunos han argumentado que somos demasiado exigentes con los algoritmos. Les exigimos más que sus homólogos humanos a la hora de realizar su tarea. En el Reino Unido se hizo un estudio en 2001 para comprobar la imparcialidad de los jueces. Se utilizó una muestra de cuarenta y un jueces a los que se les presentaban los mismos casos y se comparaban las respuestas. En todas las tandas de casos, en ninguna resultó que todos los jueces estuvieran de acuerdo por unanimidad. Es más, muchos de los casos eran repetidos (solo se cambiaban los nombres de los acusados) y, aún así, los jueces no coincidían en la sentencia cuando analizaban el caso por segunda vez ¡Ni siquiera estaban de acuerdo consigo mismos! Otro famoso estudio de 2011 realizado en la Escuela de Negocios de Columbia por el profesor Jonathan Levay, sostenía que la probabilidad de obtener la libertad condicional disminuía a lo largo de la mañana, hasta llegar a la hora del almuerzo, momento después en el que las probabilidades volvían a subir ¡Un juez recién almorzado es más benevolente que el que está hambriento! Hay mucha más evidencia de como factores como el día de la semana (no es lo mismo el lunes que el viernes), el orden de las sentencias (después de una muy dura se tiende a rebajar la siguiente), etc. sesgan los dictámenes de los jueces. Si el lector quiere saber más, le recomiendo el trabajo del profesor de Derecho en la Universidad Cornell Jeffrey J. Rachlinski. Entonces, si los jueces también tienen sesgos ¿Por qué les exigimos a los algoritmos no tenerlos? Además, parece mucho más complicado cambiar los sesgos de un juez que de un algoritmo ¿Por qué no usarlos entonces si asimismo, en muchas ocasiones, también mejoran la tarea humana? Investigadores de Cambridge, analizando datos de detenciones en la ciudad de Nueva York durante los años 2008 y 2013, diseñaron un algoritmo capaz de encarcelar a un 41,8% menos de personas manteniendo el mismo índice de criminalidad ¡Menudo ahorro!

Lo siento pero no podemos. La razón principal sigue siendo la opacidad. Si tenemos un algoritmo que nos recomienda canciones en Spotify y falla el 10% de las veces, no parece haber ningún problema en que no pueda explicarnos por qué se equivocó. Sin embargo, a la hora de emitir una sentencia de homicidio, es estrictamente necesario que la máquina nos dé todos los detalles del cómo y el porqué de su decisión. No supera ningún canon ético enviar a alguien a la cárcel sin que nadie sepa por qué se ha hecho. Por tanto, hasta que no se mejore la transparencia del ML, no podemos utilizar algoritmos para tomar decisiones que pudieran tener consecuencias judiciales o policiales (Esto va también para los coches autónomos), más que como herramientas consultivas.

Pero que no cunda el desánimo. Como sostiene David S. Watson, todavía hay mucho espacio de mejora de la transparencia en los algoritmos, y hay empresas como Google o IBM que han aumentado los esfuerzos en hacer sus arquitecturas más explicables e inclusivas. Existen herramientas disponibles públicamente como Explicable AI, AI Explainabily 360 o What-if que proporcionan a los desarrolladores interfaces visuales que mejoran mucho la legibilidad, razonamientos basados en casos, o reglas directamente interpretables. Incluso son capaces de identificar y mitigar sesgos no deseados tanto en conjuntos de datos como en algoritmos. El hecho de que el debate ético se haya hecho muy visible muestra, como mínimo, una creciente preocupación por parte de la opinión pública que, esperemos, tenderá a cristalizarse en normativas jurídicas y en políticas empresariales. Todavía es posible, y esperamos con optimismo que así sea, una inteligencia artificial más ética. Desde luego, sería maravilloso que el gran logro tecnológico de nuestro tiempo se utilizara bien, y para hacer el bien.