En los últimos días tuve la oportunidad de conversar en distintos ámbitos sobre diversos temas, como desinformación, protección de datos, privacidad, vigilancia, violencia de género en entornos digitales y la regulación de las plataformas digitales.
En todas las conversaciones, hubo un tema que se repitió como el denominador común: ¿Qué rol juegan los ALGORITMOS en todo esto? ¿Qué son? ¿Cómo inciden en nuestra vida cotidiana? ¿Cómo nos ayudan? ¿Cómo nos perjudican? ¿Deberíamos hacer algo o ya llegamos tarde? ¿Podemos hacer algo?
El otro día alguien me preguntaba «¿dónde están los algoritmos? ¿dónde puedo encontrarlos en mi día a día?». Esta es una duda muy común porque es cierto que, a pesar de que los algoritmos nos atraviesan en prácticamente todos los ámbitos de nuestra vida, no es tan fácil detectarlos a menos que sepamos de qué se trata y cómo operan.
Qué son los algoritmos y cómo funcionan
Primero lo primero.
Un algoritmo es un conjunto ordenado y finito de operaciones simples a través del que se puede llegar a la solución de un problema. Algunas de estas operaciones permiten ordenar, clasificar, encontrar patrones y procesar grandes cantidades de datos, y también aprender.
¿Pero de quién o de qué aprenden? De datos con los que se alimentan los sistemas. Algunos de esos datos son suministrados consciente y voluntariamente por quienes entrenan a esos sistemas para lograr que cumplan un objetivo (que tomen una decisión basada en lo que aprendieron). Otros datos son los datos inferenciales a partir del análisis de enormes volúmenes de datos, y de los patrones y correlaciones que encuentran [nota: correlación NO implica causalidad] y ahí el tema se vuelve un poco -bastante- más complejo (y quedará para otro momento).
Las máquinas aprenden de los ejemplos que les damos los humanos. Encuentran patrones y regularidades en las cosas que nosotras/os hacemos y, a partir de esas regularidades, «las máquinas pueden funcionar de formas que nos parecen inteligentes«, dice Laura Alonso Alemany en la entrevista que encuentran en el bonus track de este mes.
Por otro lado, como dice Martín Gendler en el video que acompaña este correo: «Los algoritmos son muy variados, hay muchos niveles de complejidad. El código de ese algoritmo no es simplemente una mera instrucción, sino que representa un montón de debates, de efectos, de ejercicio de saber, poder y verdad, que hacen que esos algoritmos hagan esas cosas y no otras».
Estamos rodeadxs
Entonces, ¿en qué espacios de la vida cotidiana nos cruzamos con algoritmos? En principio, podríamos decir que están en todas partes. Acá sólo algunos ejemplos, que no pretenden ser exhaustivos sino que intentan ser una muestra para ayudar a detectar en qué otras posibles situaciones nos atraviesan:
• Cuando una app nos recomienda un video, una canción, una cuenta X para seguir en una red social (algoritmo de recomendación).
• Cuando esas mismas plataformas deciden qué contenido te muestran y en qué orden.
• Al realizar búsquedas en internet.
• Al escribir y que el sistema del teclado autocomplete o sugiera las palabras o frases (texto predictivo).
• Los autos que se manejan solos (vehículos autónomos).
• Los sistemas de semáforos y señalización en la vía pública.
• Los sistemas que ayudan al personal de salud a detectar anomalías en imágenes radiológicas para llegar a un diagnóstico (reconocimiento de imágenes).
• Los sistemas de reconocimiento de voz (para asistentes virtuales).
• Sistemas de reconocimiento facial.
• Empresas y consultoras utilizan sistemas para la selección de personal para un puesto de trabajo, que analizan de manera automatizada los CV que reciben.
• Esto mismo pasa en instituciones académicas para elegir entre candidatos/as a una beca o vacante, o en entidades bancarias para decidir si se otorga o no un crédito.
• En Estados Unidos, el sistema Compas que se utiliza en el sistema penitenciario de algunos estados decide, en base a datos, si se debe dar libertad condicional a una personac, de acuerdo a si se cree que tiene más o menos probabilidades de reincidir (este sistema fue denunciado por sesgos contra la población negra y la organización ProPublica publicó una extensa investigación al respecto).
Algunos problemas
Es común que ante algunos de estos ejemplos se piense que los algoritmos llegaron para simplificar tareas y hacer más amenas algunas situaciones, como la búsqueda en internet (ya que me trae el resultado que espero encontrar) o las recomendaciones de series, películas, personas y hasta noticias, porque el algoritmo ya sabe lo que me interesa y me ahorra el tiempo de buscar entre otras alternativas que no tienen nada que ver con mis gustos.
Y sí, claro. Es cierto que vienen a simplificar un poco la vida. Si no fuera así y todo fuera tan malo, no habría nada que debatir. No habría lugar para discusiones. Si es malo, es malo y punto.
Pero no. Es más complejo.
En el caso de los algoritmos que ayudan a tomar decisiones en áreas importantes como en la salud, en la justicia, en el sistema penitenciario, en el sistema educativo o en el mundo del trabajo para contratar, calificar o despedir trabajadores/as, nos encontramos ante el problema de que por más que el sistema que va a tomar la decisión esté supervisado por una persona, esa persona puede sentirse condicionada por la respuesta del algoritmo y no se sienta segura ni cómoda para cuestionar la decisión sugerida. Suena rebuscado pero no lo parece tanto cuando pensamos en todas esas situaciones en las que si algo «no está en el sistema», entonces empiezan los problemas. Cuando se instala la idea de que una máquina puede ser más justa, más inteligente o más precisa que una persona, es difícil para una persona cuestionar a la máquina.
Por otro lado, en los casos de los algoritmos de recomendación, el problema podría ser el efecto que esto tiene en nuestros consumos culturales, nuestro acceso a la cultura y la posibilidad de nutrirse de cierta diversidad: la reducción del universo simbólico y social (en el recuadro me refiero específicamente a los vínculos). ¿En qué sentido?
En el caso de las plataformas digitales de contenidos, los algoritmos de recomendación funcionarían más o menos así:
- Ves algo.
- La plataforma toma nota de si lo viste completo, interrumpido, si lo dejaste de ver, si lo guardaste en una lista, si lo compartiste, si le diste 👍 o 👎. También analiza muchos más datos del comportamiento del usuarix.
- Compara tu comportamiento con el de otrxs usuarixs.
- Te recomienda algo que hayan visto otras personas con perfiles similares [el video de la exposición de Martín Gendler se refiere a la elaboración de perfiles].
- Se repite todo desde el paso 1 y el sistema va «aprendiendo» y recomendando cosas similares a las que ya te gustaron y descarta las que no.
¿Qué pasa con esto? Deja cada vez menos lugar para conocer cosas nuevas, diferentes, que rompan con lo que ya vimos, escuchamos, etc. Perdemos la capacidad de descubrir.
Sobre esto, tuvimos una conversación interesante en el grupo de discusión de DHyTecno.
¿Qué pasa con los sesgos?
En 2020 se presentó Coded Bias (Prejuicio cifrado), el documental realizado por iniciativa de la investigadora del Instituto de Tecnología de Massachusetts (MIT), Joy Buolamwini, quien había descubierto que los sistemas de reconocimiento facial que se utilizan ampliamente en la actualidad tienen sesgos raciales: no reconocen, no detectan, los rostros de personas negras.
A lo largo del documental, Buolamwini desarrolla el modo de funcionamiento de estos sistemas y explica que, al haber sido entrenados con mayoría de rostros de personas blancas, no están tan preparados para identificar rostros de otras etnias y razas.
Pero los problemas de los sesgos no terminan ahí. En Argentina, desde el Observatorio de Datos con Perspectiva de Género se dedican a investigar y explicar sobre la existencia de sesgos de género en el mundo de la Ciencia de Datos y sobre la importancia de revertir esa tendencia. Quien viene también trabajando en el impacto de los sesgos de géneros en las imágenes médicas para diagnósticos es Enzo Ferrante, que escribió algo al respecto por acá.
¿Y qué pasa cuando un sistema de reconocimiento automático del habla fue entrenado sólo por un tipo de forma de hablar? Bueno, lo que pasa es esto que cuenta Tomás Balmaceda en una investigación que hizo para Chequeado sobre Inteligencia Artificial y discapacidad: personas que viven con Síndrome de Down no pueden decirles las indicaciones a un Smart TV porque no les entiende lo que dicen. En noviembre de 2019, la Sociedad Canadiense de Síndrome de Down había lanzado Project Understood, «una iniciativa para que las grandes compañías que diseñan asistentes de voz sumen a sus algoritmos datos de esa población tras comprobar que Google Home, por ejemplo, sólo reconoce el 30% de la palabras dichas por una persona que vive con Síndrome de Down. Al proyecto se sumó Google, que se comprometió a sumar 500 nuevas voces para mejorar sus algoritmos».
La regulación
Una de las preguntas que más me hicieron en la última semana es: ¿Cómo se regula esto? Particularmente, no tengo la respuesta, pero sí puede decirse que no es un tema que pase desapercibido. En abril de 2021, la Comisión Europea presentó el primer marco legal sobre Inteligencia Artificial [acá el documento completo] en el que establece cuatro niveles de riesgo, siendo el máximo el «riesgo inaceptable» para aquellos sistemas que puedan ser considerados una «amenaza para la seguridad, los medios de vida y los derechos de las personas». Estos sistemas serán prohibidos.
Por otro lado, en su columna en el programa «Feas, Sucias y Malas» (FM La Tribu) de ayer, Sofía Scasserra se refirió a un proyecto de ley de regulación de la Inteligencia Artificial en China (a partir del minuto 3:05).
Escapar y engañar al algoritmo
Para escapar un poco de ese universo reducido, te invito a que intentes acercarte a las personas que te interesan a través de otras vías que no incluyan algoritmos en el camino y a que te distancies del consumo de películas, series, videos y textos a los que accedas a través de las recomendaciones de las plataformas. Hacé un uso más artesanal de esos sistemas y elegí a quién le querés hablar, qué tenés ganas de ver y qué querés escuchar. Otro tipo de acceso a la cultura sigue estando ahí disponible y podés volver a sorprenderte con lo que descubras.
También podés optar siempre por las recomendaciones de otras personas (ya sean familiares, amigues, colegas, periodistas especializadxs en arte y cultura) y las carteleras que se actualizan todas las semanas.
Saltear al algoritmo también puede ser fundamental en materia informativa para salir de la propia burbuja que reafirma una y otra vez lo que pensamos y nos aleja cada día más de otras miradas y formas de pensar y analizar la realidad. Conversar con nuestro entorno, sobre todo si no piensan como nosotrxs, se vuelve una excelente herramienta para combatir la desinformación a la que suelen llevar los algoritmos de redes sociales como Facebook y YouTube.
Por último, te invito a que juegues a engañar al algoritmo.
🎬 «Gubernamientalidad Algorítmica y COVID-19: Acompañamientos, personalización y nuevos debates»
Exposición a cargo de Martín Gendler, licenciado y profesor de Sociología, actualmente cursando el tramo final del doctorado en Ciencias Sociales (Universidad de Buenos Aires).
Martín presenta el concepto «gubernamentalidad algorítmica» a partir del concepto de «gubernamentalidad» de Michel Foucault. ¿A qué se refiere este concepto?
«A los procedimientos, análisis y discursos para la gestión y administración de las conductas y poblaciones».
Todo esto, explica Martín, era en base a la estadística generada principalmente por los gobiernos (los Estados), con apoyo de algunas instituciones, y el planteo era administrar a las poblaciones y sus conductas en función de números (datos estadísticos).
La parte «algorítmica» se corresponde más al poder de las sociedades de control (de acuerdo a palabras del filósofo Gilles Deleuze), de vigilancia, más automatizado y más actualizado.
«Muchos de los conceptos rectores que están detrás de esta gubernamentalidad algorítmica tienen que ver con la economía política del neoliberalismo pero también con la cibernética, con el arte del piloteaje y sobre todo con la intencionalidad de que la información y las tecnologías sean una excelente herramienta, un excelente medio, en función de predecir para conducir«, explica Gendler.
¿Cuál es la diferencia principal entre la gubernamentalidad tradicional y la algorítmica?
Por un lado, está el hecho de que esa información no es reunida por el Estado, necesariamente, sino que los actores principales suelen del sector privado, tales como empresas. La otra diferencia es que es una estadística constantemente actualizada -a diferencia de un censo poblacional que suele hacerse cada diez años, por ejemplo-.
Sobre el hecho de que quienes recolectan los datos y la información permanentemente son actores privados, Martín explica que la mayoría de las veces estos actores se «esconden» detrás de espacios que parecen «públicos», como las plataformas digitales, e intentan hacer como si no estuvieran ahí.
En esta gubernamentalidad algorítmica, los algoritmos cumplen una función muy clara, asegura Gendler: hacen que las cifras se vuelvan contraseñas. ¿Cómo se entiende esto? Esos datos que se recopilan son los que se utilizarán para permitirnos o no acceder. ¿Acceder a qué? A un crédito, a una vacante en una escuela, a un puesto de trabajo, a cursar una materia, a una beca, y la lista sigue.
Esos datos recolectados son propuestos como un reflejo de la realidad. ¿Qué pasa con esto? ¿Para qué se usan esos datos después? El investigador del CONICET dice: «A una persona se le van a empezar a orientar sus conductas y sus acciones a través de internet básicamente de acuerdo a lo que esa persona reveló que le gusta».
Después de la recolección de los datos y del procesamiento de esos datos, empieza la creación de perfiles. «La gubernamentalidad algorítmica es una gubernamentalidad que perfila. Genera perfiles y, contra nuestra creencia, estos perfiles no son individuales», explica. Son perfiles generales que se nos aplican, pareciendo que son individuales, y empiezan a conducir nuestras acciones.
Recomiendo mucho ver el video completo, en el que el investigador hace, también, un análisis de toda la cuestión de la gubernamentalidad algorítmica en el marco de la pandemia por COVID-19 y la aceleración de algunas tendencias previas.
Además, si te interesa ver y escuchar el resto de las exposiciones de ese encuentro, podés seguir por acá.
Preocupación por la inclusión del DNI en el Censo
Por último, y ya que estoy hablando de censos, te cuento que está habiendo un problema con el modelo del formulario del Censo 2022 en Argentina. En esta carta publicada por la Fundación Vía Libre manifiestan su preocupación por la incorporación de una pregunta que incluye el Documento Nacional de Identidad (DNI) en el formulario de administración del Censo Nacional de Población, Hogares y Viviendas a realizarse en mayo de 2022.
El Censo 2022 incorpora preguntas necesarias para el diseño de políticas públicas que atiendan a las diversidades étnicas, migratorias, religiosas y de género. Sin embargo, la pregunta por el DNI supone la pérdida del anonimato, lo que afecta a la privacidad, implica un riesgo y puede derivar en la falta de confianza de la ciudadanía y en la pérdida de calidad de las respuestas obtenidas.
Vínculos algorítmicos
Pero, entonces, ¿qué pasa con las relaciones entre personas que están mediadas por plataformas digitales y algoritmos?
Las «redes sociales» (digitales), como su nombre lo indica, se supone que son plataformas que sirven para estar conectados/as y mantener una vida social. Cuando nos creamos una cuenta, un perfil, en una red social, lo hacemos pensando en generar vínculos, estar en contacto con personas a las que no vemos hace mucho, personas que son más o menos cercanas, personas o instituciones que publican información interesante para nosotrxs, personas, grupos o instituciones que admiramos, que seguimos, etcétera. Desde un familiar, un club deportivo, la escuela o universidad a la que vamos, quizás hasta la cuenta del lugar donde trabajamos (si es que tiene), podemos estar en contacto con cientos y miles de otros/as usuarios/as.
Sin embargo, una cosa es la POSIBILIDAD de estar conectado/a con una extensa red y otra muy distinta es la PROBABILIDAD de que eso pase. Cuando recién empezaban a aparecer redes como Facebook, Twitter o Instagram, la lógica que predominaba era que los contenidos de las cuentas que siguiéramos se actualizaran en «tiempo real». La idea era mantenerse actualizado, con lo último que haya publicado cada uno/a.
Es decir, la orden que se le daba al/a los algoritmo/s era que el orden de los contenidos en el newsfeed o en el timeline (donde vemos/leemos a quienes seguimos) empezara desde lo más actual y fuera hasta lo más antiguo a medida que uno/a escroleara hacia abajo.
Pero esta lógica se modificó. En un momento, las compañías detrás de estas plataformas digitales se dieron cuenta que, para captar la mayor atención posible y mantener a los/as usuarios/as adentro de la plataforma la mayor cantidad de tiempo posible (básicamente, para poder venderle MUCHA PUBLICIDAD), les convenía mostrarles sólo los contenidos que de verdad le interesaba a cada una/o.
¿Cómo podía saber el algoritmo qué era lo que más le gustaba a cada usuarix de la plataforma? Midiendo y analizando su comportamiento.
• A qué publicaciones le das «like».
• Cuáles compartís.
• Con quiénes interactuás más (comentarios, mensajes privados, etc).
• En qué tipo de publicaciones te detenés con más frecuencia para mirar, leer, escuchar.
• Qué tipo de contenido te hace salir de la plataforma.
• Con qué tipo de contenidos y con qué usuarios/as menos interactuás.
• Qué te motiva a publicar.
• Y la lista puede seguir y seguir.
¿Qué hacen con todo esto?
En base a los datos recolectados y analizados, deciden qué usuarios/as te van a mostrar todo el tiempo (al punto de que llegues a pensar que son los/as únicos de tus contactos que actualizan con frecuencia) y cuáles van a dejar de aparecerte (al punto de que llegues a pensar que no se conectan nunca).
Y hay tipos de contenidos que van a resultar más populares, por ser los que logran generar mayor cantidad de interacciones, como es el caso de las imágenes que incluyen rostros de personas por sobre las imágenes de objetos estáticos como las tapas de libros [lo digo por experiencia propia].
Las personas que se especializan en el uso de estas plataformas con fines comerciales y de comunicación [no es mi caso] estudian y saben cómo «jugar» con el algoritmo para intentar lograr la mayor visibilidad posible de sus publicaciones.
💡 Si usás Instagram en tu teléfono, por ejemplo, podés fijarte en tu lista de «seguidos» y ver que la misma aplicación te ofrece el listado de:
• Las 50 cuentas con las que menos interactuás.
• Las 50 cuentas más mostradas en el feed.
Si las revisás, fijate, pensá, ¿hay alguien en la primera lista con quien quisieras tener más contacto? Para evitar que los algoritmos guíen nuestros vínculos, podríamos empezar a saltearlos un poco, ¿no? Entrar directamente a cada cuenta que nos interese en lugar de sólo ver/leer lo que nos muestren los algoritmos puede ser una buena estrategia.
👥 Para leer sobre cómo funcionan las «comunidades virtuales» (y sus lazos débiles), recomiendo el capítulo 1 de «Crítica de la razón informática» de Tomás Maldonado (1998).
❤️ Sobre otro tipo de relaciones algorítmicas (vínculos sexo-afectivos), recomiendo el correo de Jimena Valdez (Burofax de Cenital) de hace algunas semanas.
🔥 BONUS TRACK
01. El juego de la predicción
Desde El gato y la caja (EGLC) crearon un juego que, como todo lo que hacen, no busca sólo entretener sino explicar algún fenómeno científico o un desarrollo tecnológico. En este caso, un algoritmo muy sencillo va a tratar de entender cuán predecibles somos las personas. El juego consiste en dos botones, uno rojo y uno azul. La persona tiene que apretar cada uno del modo más aleatorio posible. El algoritmo tiene que tratar de adivinar cuál vas a presionar. Gana el primero que llega a 50 puntos. Al finalizar el juego, desde EGLC dan una explicación acerca del funcionamiento de los algoritmos. ¡Qué te diviertas aprendiendo! (Y ojalá le ganes).
02. ¿Pueden pensar las máquinas?
En este episodio del podcast El Bestiario de Internet, la licenciada en Ciencias de la Computación, Laura Alonso Alemany, explica cómo aprenden las máquinas. Disponible para escuchar acá.
03. Dos documentales sobre Inteligencia Artificial
El canal alemán DW publicó dos documentales muy completos sobre inteligencia artificial (IA). «¿De qué es capaz la inteligencia artificial?» es el título del primero, donde el periodista científico Ranga Yogeshwar viaja a los centros de investigación de la IA en Europa, Estados Unidos y China y muestra en qué están trabajando. El segundo se plantea por los «límites éticos para la inteligencia artificial» y se pregunta qué nos hace únicas a las personas (todavía).
📚 Para leer
«Posdata sobre las sociedad de control» por Gilles Deleuze. Disponible acá.
«¿Qué sabemos de la inteligencia artificial?», Revista Nueva Sociedad (NUSO) N° 294, julio-agosto de 2021. Disponible completa acá. Este número es especial para mí, no sólo porque participé del mismo con un artículo propio, sino porque lo compartí con colegas y profesionales que admiro profundamente, como Sofía Scasserra, Juan Manuel Ottaviano, Leonardo Fabián Sai, Enzo Ferrante, Martín Gendler y Johanna Caterina Faliero.
«Datificación y streamificación de la cultura. Nubes, redes y algoritmos en el uso de las plataformas digitales» por Lucas Bazzara, en Revista InMediaciones de la Comunicación, 2021, N° 2, julio-diciembre, Montevideo, Uruguay. Disponible acá.
Espero te haya resultado interesante este correo. Cualquier información, comentario o sugerencia que tengas, podés escribirme. A mí también me gustaría recibir un mensaje tuyo.
¡Son una grandiosa comunidad! 🤗
¡Que tengas un lindo septiembre!
Gracias por estar ahí.
Carolina
0 comentarios