La culpa ¿la tiene el algoritmo? – Por Aram Aharonian
Por Aram Aharonian *
¿La culpa la tiene el algoritmo? Es fácil echarles la culpa, sobre todo cuando no entendemos qué es lo que sucede en este mundo digital que todavía no terminamos de entender. Los algoritmos se han convertido en sinónimo de algo altamente técnico y difícil de comprender: es un árbitro de la verdad objetiva o, en el otro extremo del espectro, algo totalmente poco fiable. O ambas cosas.
“Es culpa del algoritmo“, es la frase que se escucha con mayor recurrencia toda vez que son más los procesos, los aspectos de su vida y las interacciones con entidades que son analizados por un algoritmo en vez de por una persona. Sus aplicaciones a una universidad o a un trabajo, pasan por un algoritmo que las barre, las analiza, las filtra y las selecciona o las rechaza para que luego un humano complete el proceso.
Su solicitud para un crédito o un seguro, pasa por un algoritmo que mide el riesgo que usted representa a partir de mucha más información que la que cualquier humano puede analizar. Información que se complementa más con datapoints de lo que llamamos nuestra identidad digital, esas huellas que dejamos cada vez que nos conectamos a Internet y utilizamos cualquier dispositivo tecnológico o servicio en línea.
Son innumerables los casos en que una persona ha sido arrestada porque “el algoritmo” los ha identificado erróneamente. Son decenas de miles de hojas de vida las que se han ido a la basura porque estaban escritas para ser leídas por un humano y no contenían las palabras claves que usó el algoritmo. Son miles de millones las aplicaciones descartadas y negadas porque el algoritmo encontró una correlación (que nadie sabe de dónde salió) que afectó la calificación final de la persona.
El debate crece porque más y más aspectos de nuestra vida son analizados por algoritmos y estos terminan generando recomendaciones, influenciando nuestras decisiones o tomando acciones que nos afectan directamente. ¿Debe una empresa que utiliza estas herramientas informarle a sus clientes, empleados, proveedores, personas interesadas en trabaja/estudiar en ella) sobre su existencia? ¿Deben los gobiernos que usan estas herramientas hacer público su uso y la forma en que fueron entrenados?
La culpa la tienen los algoritmos, y los documentos internos de Facebook revelan que la empresa tenía conocimiento de los efectos nocivos de Instagram sobre los chicos: el 32% de los adolescentes estadounidenses dijo sentirse peor con su cuerpo a causa de sus intercambios en la red social, según el Wall Street Journal. Según el dueño de Facebook, Marc Zuckerberg, “usar redes sociales para comunicarse con otras personas puede ser positivo para la salud mental”. O no, según la cantidad de suicidios jóvenes.
Los algoritmos no son sinónimo de ultramodernidad, no son nada nuevo, ya que los humanos empezaron (¿empezamos?) a usar los protoalgoritmos desde que comenzaron (¿comenzamos?) a razonar en épocas remotas.
El dueño de Facebook, Mark Zuckerberg, acaba de anunciar que desde el 1 de diciembre la empresa Facebook pasará a llamarse META. Esto tiene dos implicaciones, una de carácter empresarial para legitimar y construir viabilidad jurídica a una de las operaciones más importantes que vienen haciendo: la venta de información. Facebook usa la minería de datos para apropiarse la información desagregada de sus usuarios, la cual vende a terceros sin reportar porcentaje de ganancias para quienes de manera inconsciente proporcionan la información.
La segunda para crear el metaverso, un universo virtual que modelará actividades como consumo, participación política, sociabilidad, educación e incluso filtrará el acceso a la innovación científica tecnológica. Y todo en base a los algoritmos, claro.
El metaverso abarca dispositivos y estilos de vida que ya existen, para una minoría, como los coches autónomos. Hoy se utilizan principalmente para juegos de inmersión, con mandos y controles para simular un partido de tenis, por ejemplo. Pero Facebook también ha empezado a construir espacios más informales, como las «salas de trabajo», donde los participantes aparecen alrededor de una mesa redonda como avatares personalizados que parecen personajes de dibujos animados. Será una nueva manera de evadirse de la realidad, de ir en busca de la más confortable realidad virtual, que uno puede, quizá, adecuarla a sus necesidades. Claro, si es que tiene el dinero suficiente para comprar los dispositivos necesarios para metaversear.
El metaverso babilónico
Si uno va a Wikipedia, los algoritmos son “un conjunto de instrucciones o reglas definidas y no ambiguas, ordenadas y finitas, que permite solucionar un problema, realizar un cómputo, procesar datos y llevar a cabo tareas o actividades”. Se trata de una especificación no ambigua para hacer cálculo, procesar datos y para el razonamiento automático. Como concepto, podríamos simplificar esto y decir que una receta es un algoritmo. Si uno no cocina los fideos antes de servirlos, no es pasta: el orden importa.
Cuando el hombre aún vivía de la pesca y de la caza sabía que si se le acercaba un enemigo, debía defenderse con el hacha, pero si advertía un ciervo, lo cazaba con la lanza. Los algoritmos no dejan de ser instrucciones que se accionan cuando se dan ciertas condiciones, que se formalizaron en el siglo nueve, con el matemático y astrónomo persa al-Juarismi (de la deformación de su nombre dicen, salió algoritmo).
Escribimos y utilizamos algoritmos desde mucho antes de existir las computadoras.
Ya en la época babilónica, los humanos los escribían para hacer las ecuaciones matemáticas que les permitían gestionar su sociedad agrícola. O sea, muchísimo antes de que a alguien se le diera por fabricar una calculadora o computadora.
Pero las máquinas, en la segunda mitad del siglo pasado, permitieron que los algoritmos llegaran a otro nivel, con el desarrollo del software, la capacidad creciente de procesamiento de datos y la cantidad de datos disponibles para producir lo que conocimos como una verdadera revolución digital, desde que Serguei Brin y Larry Page, los fundadores de Google, desarrollaron los primeros algoritmos que imitaron la jerarquización aplicada a las citas académicas: cuanto más citado, más valioso.
El algoritmo Page Rank de Google comenzó a nutrirse de la inteligencia colectiva para aprender qué es lo relevante para cada uno. El conocimiento antes fragmentado en individualidades, ahora se podía reunir en un algoritmo al servicio del colectivo. En lugar de depender sólo de la información dentro de una página para determinar lo relevante que era para un término de búsqueda, el algoritmo del motor de búsqueda incorporó una serie de señales que le ayudarían a sacar a la superficie los mejores resultados, como cuántos enlaces apuntaban al artículo y qué reputación tenían esos artículos, basándose en cuántos enlaces apuntaban a esas páginas, y así sucesivamente.
Serguei Brin y Larry Page comenzaron a recibir apoyos financieros que empresas y grupos que esperaban recuperar su inversión. Empezaba el negocio. Si había gente buscando síntomas de la gripe, se daba la oportunidad para ofrecer productos para combatirla, afinando la información, los datos, para ofrecer más consumidores probables a los anunciantes.
Shoshana Zubf, autora de La era del capitalismo de vigilancia, los datos sirvieron como insumo para predecir el comportamiento de sus usuarios, y así la publicidad dirigida facilitó primero el camino para el éxito financiero y abrió el camino para la elaboración del capitalismo de vigilancia: lo que caracteriza a la sociedad actual es que el capital se basa en conocer detalladamente el comportamiento social presente para producir comportamientos futuros y ofrecerlos en el mercado, señaló. Con la potencia de su algoritmo, Google construyó la base de un monopolio sobre las búsquedas. Este modelo exitoso de Google fue seguido por Amazon, Facebook; Spotify y Netflix después. La fiebre por algoritmos se expandió a la llamada industria 4.0 que busca conocer los detalles de qué hace cada máquina para mejorar su productividad.
Pero también a los gobiernos les gustó la oportunidad. Hay jueces en Estados Unidos a los que los algoritmos les indica la probabilidad de que un convicto reincida en caso de ofrecerle libertad condicional. También se usa en el sistema educativo, para decidir la renovación de un contrato a un docente en base a los resultados de los exámenes de sus estudiantes. Pero héte aquí que los algoritmos no explican cómo se llegó a determinada conclusión… y de ahí los despidos sin causa de docentes, y los juicios que sobrevienen.
Cada vez más, el mundo se maneja desarrollados por varones blancos, occidentales y jóvenes que habitan y trabajan en la estadounidense Sillicon Valley, con una mirada del mundo basada en aumentar las ventas, que influye en la calidad de los datos. Cathy O´Neil, autora de Armas de Destrucción Matemática, señala que en EEUU la policía detiene con más frecuencia y brutalidad a los jóvenes negros para revisarlos por posesión de drogas, basado en un algoritmos con información fundada en prejuicios.
Los pobres pagan más intereses por sus créditos porque los algoritmos los consideran riesgosos por ser, precisamente, pobres, lo que sin duda profundiza su pobreza y la desigualdad. O´Neil señala que “el modelo se optimiza para la eficiencia y la ganancia, no para la justicia. Esta es la naturaleza del capitalismo”.
Los algoritmos que utilizaban las computadoras adquirieron importancia por primera vez a mediados del siglo XX, cuando los militares comenzaron a escribir fórmulas para, por ejemplo, determinar dónde apuntar un misil a un objeto en movimiento. El concepto se trasladó luego a la administración de empresas, con computadoras que ejecutaban fórmulas para administrar las nóminas y demás; y en la ciencia, para rastrear los movimientos en el cielo.
Facebook, Google, Amazon y otras grandes compañías de tecnología
han sido criticados intensamente por restringir las opciones de los consumidores y encapsularlos en burbujas que sólo reflejan lo que estas compañías quieren ver. Ellas confían en los algoritmos para servir contenido y productos a sus clientes (y también para manipularlos).
Mark Zuckerberg, dueño de Facebook, señala que éste hace todo lo opuesto a los medios de comunicación y compañías de entretenimiento tradicionales. Explicó que mientras las cadenas de televisión muestran un determinado programa y generan opiniones que nacen de sus propias ideas, en Facebook, los usuarios solo ven contenido relacionado a sus intereses.
Pero hay otros algoritmos presentes en nuestras vidas, como el que determina cuándo el lavavajillas debe pasar de lavar a secar, o cómo un automóvil regula la entrada de combustible y sabe cuándo su tanque está lleno, o cómo las sombras aparecen en una película animada digitalmente para replicar perfectamente el sol en el mundo real.
En defensa de los algoritmos
Quizá los algoritmos no tienen la culpa, pero es más cómodo culpar a los algoritmos, como es cómodo culpar a los videojuegos por la violencia. Al responsabilizarlos, en lugar de señalar a ejecutivos y organizaciones, invisibilizamos el problema. La diferencia fundamental entre los algoritmos y las recetas de cocina es que algunos algoritmos toman decisiones, y que esas decisiones pueden afectar nuestras vidas. Porque son creados por personas que viven en ciertos contextos, y así capaces de reproducir prejuicios y formas de ver el mundo.
No sería raro que contuvieran errores que, repetidos a escala industrial por máquinas que hacen cómputo a velocidades incomprensibles, puedan conducir a un desastre. Hace unos años comenzaron a aparecer acusaciones señalando que Amazon estaba abusando de su posición en el mercado forzando a las editoriales a aceptar sus reglas a cambio de no ver como sus libros desaparecían de sus estantes virtuales.
Cuando el sistema falla, la culpa no es de la tecnología, es de las personas, afirma Cassie Kozyrkov, del departamento cientítifico de Google, quien insiste en que «el propósito para que sirva el sistema dependerá de quién lo haya construido» y en que una persona al mando con malas habilidades puede ser una enorme «amenaza» cuando se trata de construir sistemas inteligentes cuyas misiones son críticas y tendrán un gran impacto en la vida de las personas.
Sin dudas, las decisiones de los algoritmos tienen que estar supervisadas por humanos, porque es peligroso dejarlos decidiendo solos. La inteligencia artificial, cuando la dejas completamente sola, puede no ser muy inteligente y no darse cuenta de que está cayendo en problemas o en errores.
Se puede auditar un algoritmo para saber cómo toma decisiones, porque se puede revisar el código y entender por qué clasificó a una persona o a un renglón de un dato o lo que fuera, dentro de una categoría.
«Lo más interesante, lo más complejo, es lo que hoy en día se llama explicabilidad: cuando un experto tiene que tomar una decisión en base a su experiencia lo puede explicar, pero cuando un algoritmo toma una decisión en base a su aprendizaje automático, en muchos casos no lo puede explicar y entonces no se entiende fácilmente por qué se tomó una decisión», explica Esteban Feuerstein, profesor de la Facultad de Ciencias Exactas y Naturales de la Universidad de Buenos Aires.
“Explainability” o “explicabilidad” significa que programar algoritmos que a priori nos permitan explicar, justificar la decisión. Entonces si un algoritmo le va a decir a un experto “Este edificio hay que arreglarlo porque tiene un altísimo riesgo de caerse”, es necesario que incluya parámetros e indique si son demasiado bajos o altos, o “cosas semejantes sucedieron en edificios que tuvieron problemas”, etcétera. En general hoy en día se pretende que haya alguna explicación, alguna justificación o dato de por qué la recomendación es tal o cual», añade.
Despidos sin causa
La estadounidense Amazon y la rusa XSolla protagonizaron polémicos casos en los últimos años, con empleados que fueron calificados de improductivos por un sistema de inteligencia artificial.
En agosto de este año, cerca de 150 personas de las 500 que trabajaban en las oficinas rusas, ubicadas en Perm y Moscú, de la empresa de servicios de pago para gaming XSolla, recibieron un mail en el que se les informaba que serían despedidos porque, luego de un análisis sobre su actividad laboral de big data hecho por un sistema de inteligencia artificial contratado por la compañía, se había concluido que eran improductivos o poco comprometidos, informó la revista Forbes.
Antes, en 2019, en Estados Unidos, varios empleados de Flex, el servicio de reparto de Amazon, denunciaron que la empresa de Jeff Bezos estaba utilizando, al menos en esa división, un sistema de inteligencia artificial para contratar, evaluar y despedir funcionarios, sin que un solo ser humano se pusiera en contacto con ellos en algún momento del proceso. Estos casos han puesto en cuestionamiento la aplicación de los algoritmos y los sistemas de machine learning o aprendizaje automático en el ámbito laboral, y de qué manera se los educa para definir qué es productividad y qué no.
Vamos con más casos, en EEUU. En 2017 el distrito escolar independiente de Houston, tuvo que pagar 237.000 dólares por los costos del juicio que perdieron frente a siete docentes injustamente despedidos. En realidad nadie sabía cuáles fueron las razones: la decisión había sido tomada por el Sistema de Evaluación de Valor Agregado de Educación (EVAAS), un algoritmo que tomaba el recorrido de los estudiantes en las evaluaciones para evaluar al docente que habían tenido ese año y rescindir contratos o entregar bonos extra a los más destacados. El problema es que el algoritmo no midió si el año anterior los estudiantes habían sido ayudados por un docente o si al año siguiente había ocurrido alguna situación de estrés particular que había afectado el desempeño escolar. Para el algoritmo la ecuación era simple: el docente era responsable y había que cambiarlo. Uno de los despedidos, Daniel Santos, contó en el documental Coded Bias el efecto terrible que le provocó ser señalado como un mal docente, algo que lo incentivó a buscar una explicación que nadie podía darle. Frente al veredicto del algoritmo, muchos abandonan su trabajo sin preguntarse nada y no siempre recuperan la confianza en su propio desempeño. Luego del juicio, en Houston se abandonó el EVAAS, pero sistemas similares siguen funcionando en otros sistemas educativos.
¿Democracia?
Una sociedad disgregada, dividida, es una sociedad que queda a merced de los grandes poderes facticos, como las GAFAM ¿qué interés tendría Facebook de impedir que esto se produzca, siendo que le permite su exorbitante valorización? Algunas claves de este nuevo mundo que necesitan regulación político institucional urgente son los datos y el extractivismo de información; las escalas de estas corporaciones; la monopolización de las TIC; el contenido de internet; y la regulación del espectro digital.
Lo que mostraron las filtraciones, es que las reglas acerca de cuál es la información circula en sus múltiples redes sociales las pone Facebook. Y hace “excepciones para personas poderosas”, y que a pesar de tener información acerca de las afectaciones en salud mental que produce el funcionamiento de los algoritmos en los adolescentes no ha hecho nada por revertirlo (ya que necesita que estén conectados a sus plataformas permanentemente para obtener los valiosos datos)
Además, se recompensan los contenidos más viralizados (es más redituable), más allá de que el contenido sean mensajes de odio y profundicen la polarización social. De manera estructural genera un estado de emocionalidad permanente en las sociedades. Facebook gana más dinero cuando se consume más contenido. La gente se involucra más con cosas que provocan una reacción emocional. Y a cuanta más rabia se les expone, más interactúan y más consumen.
El acuerdo sobre un impuesto mínimo global del 15% a las multinacionales, va a afectar directamente a corporaciones como Facebook y Amazon. Al mismo suscriben 136 países y es impulsado por Joe Biden y Janeth Yelen (secretaria del Tesoro de Estados Unidos) y muestra la necesidad del propio capital, en medio de la crisis, de reconfigurar las reglas de juego internacionales, porque se encuentran en juego millones de dólares.
Pero en la posibilidad de generar una redistribución también se encuentran en juego miles de millones de datos personales y la democracia como sistema político institucional. Estas transnacionales cambian las reglas de juego, con manipulaciones, privilegiando la instalación masiva de mensajes en función de acuerdos políticos y comerciales, utilizando los datos para inducir al candidato al que tenemos que votar.
El sistema alegal en el cual se manejan las GAFAM son un problema para muchos otros sectores del poder. The Wall Street Journal, cuyo dueño es News Corp (Roper Murdock), plantea: “sería bastante fácil concluir que Facebook es terriblemente poderoso y que solo podremos controlarlo con una intervención agresiva del gobierno.”
Mientras que Joe Biden expone que plataformas como Facebook “están matando a la gente por la desinformación”. La desregulación ha llegado a un grado tan alto que ya hay una ofensiva por parte del parlamento de EE.UU. para desmonopolizar a estas corporaciones de las tecnologías.
The Wall Street Journal, cuyo dueño es News Corp (Roper Murdock), plantea: “sería bastante fácil concluir que Facebook es terriblemente poderoso y que solo podremos controlarlo con una intervención agresiva del gobierno”, mientras que el presidente estadounidense Joe Biden expone que plataformas como Facebook “están matando a la gente por la desinformación”.
Pocas grandes empresas se han hecho dominantes y monopólicas en internet y en las TIC, y han avanzado en la apropiación privada y corporativa de la comunicación e incluso de la socialidad. Estas corporaciones son hijas del modelo neoliberal financiero especulativo, y en este mundo de las TIC, sin reglas claras, avanzan exponencialmente para lograr sus objetivos geopolíticos.
La desregulación ha llegado a un grado tan alto que se produjo una ofensiva por parte del parlamento de EEUU para desmonopolizar a estas corporaciones de las tecnologías.
En medio de las polémicas que se han suscitado en los últimos años en torno a la empresa, Facebook Inc. anunció un rebranding en el que la empresa matriz pasará a llamarse Meta, dejando el nombre Facebook sólo para la red social que dio origen a la compañía. “El metaverso primero, no Facebook primero”, dijo Zuckerberg,.
Quizá todavía estamos lejos de la novela distópica de Ernest Cline «Ready Player One», en la que la mayor parte de la humanidad escapa de un mundo en crisis adentrándose en un sistema global de realidad virtual a través de un visor, guantes o ropa táctiles. «Pero dentro de cinco o diez años, muchas de estas tecnologías se convertirán en algo común», dijo –o amenazó- Zuckerberg.
*Periodista y comunicólogo uruguayo. Magíster en Integración. Creador y fundador de Telesur. Preside la Fundación para la Integración Latinoamericana (FILA) y dirige el Centro Latinoamericano de Análisis Estratégico (CLAE)
