En 2016, dos investigadores de la Universidad Shanghai Jiao Tong publicaron un polémico estudio en el que afirmaban haber construido un algoritmo capaz de predecir la conducta criminal a partir de la forma de la cara de los individuos. Para ello, entrenaron al algoritmo con miles de fotografías de personas de origen chino.
Las imágenes de los sujetos no delincuentes procedían de los servicios online de búsqueda de empleo, mientras que las fotografías de los convictos fueron extraídas de los registros policiales y procedían de documentos oficiales de identidad. De acuerdo con este trabajo, existirían rasgos faciales que caracterizan a los delincuentes frente a aquellos que no lo son.
El algoritmo detectó diferencias entre los rostros de ambos tipos de personas en aspectos como la distancia entre los vértices interiores de los ojos, el ángulo entre la nariz y el labio superior y la curvatura del labio superior.
Algoritmo sesgado
Años después, se demostró que ese algoritmo fallaba con frecuencia y que el origen de sus errores se encontraba en la validez de los datos con que fue entrenado.
En las fotografías de los sujetos no delincuentes aparecían individuos sonrientes porque esas imágenes estaban incluidas en el CV de estas personas. Por el contrario, las fotos de los delincuentes mostraban rostros totalmente serios porque se tomaron en un contexto muy distinto: el registro policial.
Lo que hizo el algoritmo fue detectar patrones de las caras en ambos tipos de personas y vincularlos (erróneamente) con características reales del rostro. El algoritmo detector de conductas delincuentes resultó ser, por tanto, un fiasco.
Este ejemplo ilustra una de las grandes preocupaciones de la creciente utilización de algoritmos en las sociedades avanzadas. Estos ingenios matemáticos se alimentan de ingentes cantidades de datos. Así, su calidad y la ausencia de sesgos resultan fundamentales para su correcto funcionamiento.
Falsedad en los datos
Los instrumentos de inteligencia artificial generativa, basados en potentes algoritmos nutridos con información masiva procedente de internet, están sujetos a ese mismo principio. Por tanto, si se entrenan con datos erróneos pueden resultar problemáticos en un contexto en el que cada vez más personas confían en este tipo de aplicaciones.
Si un sistema de creación automática de textos como ChatGPT utiliza como referencia información alojada en la web, no es de extrañar que sus textos puedan contener datos falsos.
El espacio de convergencia entre la desinformación y la inteligencia artificial está repleto de luces y sombras. Por un lado, las tecnologías generativas de texto, audio e imágenes son capaces de multiplicar la escala y velocidad de propagación de los contenidos falsos. Por otro, también están siendo aplicadas para combatir la desinformación.
Sin embargo, además de esta relación visible entre algoritmos y posverdad, existe una confluencia menos evidente entre la inteligencia artificial y la representación falseada de la realidad.
Negociación tácita
Un aspecto clave es la actitud con la que el usuario interactúa con los algoritmos en los espacios digitales. Cuando un individuo es consciente de que sus acciones serán mediadas –y medidas– por un algoritmo, tiende a adaptar su comportamiento a lo que tal algoritmo requiere. Se configura, por tanto, una suerte de negociación tácita entre persona y máquina. Proporcionar las instrucciones (prompts) adecuadas para crear justo la imagen sintética que se busca es una habilidad clave para el uso efectivo de este tipo de inteligencia artificial generativa.
El sujeto actúa para que el algoritmo obtenga información útil y fácil de procesar que le permita resolver la necesidad del sujeto. Esta negociación se establece a diario cuando buscamos en Google: colocamos en el cajón de búsqueda las palabras que, bajo nuestra intuición, el algoritmo comprenderá mejor para que el buscador nos ofrezca los resultados pretendidos.
Este principio de negociación tácita produce efectos más allá de las búsquedas cotidianas que cualquier sujeto puede efectuar.
Marcando estilo
Cuando una industria como la periodística descubre que los algoritmos de los buscadores posicionan mejor las noticias cuando están redactadas y estructuradas de una determinada manera, gran parte de los profesionales de la información utilizarán modos similares para componer sus textos. El efecto es una preocupante estandarización de la información digital a fin de adaptarse a lo que le gusta a los buscadores, convertidos en poderosos guardianes de la información digital.
A la vez, se tenderá a producir contenidos de acuerdo a los temas que se posicionan de forma más visible y se evitarán las historias con menor capacidad para ser propagadas. Es decir, algunos relatos serán reproducidos masivamente y otros quedarán ocultos.
Una sociedad sometida a una sobrerrepresentación de determinados relatos es una sociedad desinformada. La creciente presión por las métricas que inunda las redacciones (un tipo de despotismo numérico) vienen acompañadas muchas veces por incentivos para aquellos periodistas cuyas piezas obtienen más clics.
Performatividad algorítmica
En La condición postmoderna (1979), el filósofo francés Jean-François Lyotard define los relatos performativos como aquellos que, además de enunciar características de objetos o situaciones, son capaces de transformar la realidad.
Cuando un líder político enuncia una declaración de guerra contra un país enemigo no solo produce un hecho informativo de máxima relevancia: también está modificando el contexto de las relaciones entre ambas naciones. Cuando el rector de una universidad declara que el curso universitario queda inaugurado, su discurso no solo anuncia la apertura del año académico sino que provoca de facto que el curso comience. El relato performativo, por tanto, “tiene la particularidad de que su efecto sobre el referente coincide con su enunciación: la universidad queda abierta puesto que se la declara tal en esas condiciones”.
Al algoritmo –y, por extensión, a los sistemas de inteligencia artificial– también se les pueden atribuir esas capacidades performativas. Los algoritmos de los buscadores que operan online no solo ofrecen respuestas a nuestras búsquedas. No solo miden y jerarquizan el grado de coincidencia entre lo que buscamos y las páginas online que encuentran. También contribuyen a transformar la realidad que opera alrededor de tales búsquedas.
Profecía autocumplida
No olvidemos que lo que hacen los buscadores es producir un listado de páginas o contenidos a partir del los términos introducidos por el usuario. Cuando un buscador coloca en primera posición un determinado relato (o una empresa determinada), sus algoritmos están provocando que ese relato (o esa empresa) se convierta en el más visible (y tenga, por tanto, mayor popularidad y probabilidad de éxito) solo porque el buscador lo coloca como el más visible.
Se produce, por tanto, una profecía autocumplida donde opera, de nuevo, la lógica dicotómica entre posicionamiento y ocultación de los contenidos. En los circuitos digitales, mientras algunos discursos terminan muy visibilizados, otros quedan silenciados.
No olvidemos que la capacidad de hacer que los contenidos sean fáciles de encontrar resulta esencial en unos entornos virtuales dominados por la saturación informativa y la lucha constante por el limitado tiempo de atención de los usuarios.
Algoritmos, ¿amigos o enemigos?
La desinformación es un viejo problema que se ha reconfigurado como consecuencia, entre otros factores, de las tecnologías digitales. No toda la responsabilidad está en el efecto que tienen los algoritmos en la propagación de información falsa (ni en la consiguiente representación sesgada del mundo). Sin embargo, es urgente analizar de forma crítica las consecuencias derivadas de la presencia cada vez mayor del algoritmo en nuestra cotidianeidad, así como sus efectos en la percepción de la realidad.
No se trata de demonizar al algoritmo pues los resultados que plantea dependen del uso que se haga de él. Además, ofrece indudables ventajas al facilitar infinidad de labores por su capacidad y velocidad en el procesamiento de enormes cantidades de datos.
Sociedad, ciudadanía y algoritmos
Sin embargo, se debe reflexionar sobre aspectos esenciales: cómo se producen los algoritmos, cómo se pueden hacer transparentes para la sociedad, cómo pueden reconfigurar las nociones de autoría y propiedad intelectual, en qué medida impactan en la privacidad de los usuarios, qué efecto medioambiental tiene la base tecnológica sobre la que operan y cómo condicionan la representación social y cultural del mundo.
También cómo pueden contribuir a mejorar la sociedad y hacerla más eficiente en el manejo de la información para, así, generar una ciudadanía mejor formada –y menos desinformada– sobre las cuestiones relevantes que impactan en su vida.
Es urgente una aproximación reflexiva para conocer mejor cómo producir y utilizar las tecnologías algorítmicas y evitar, en definitiva, confiar ciegamente en un prometedor sistema de detección de delincuentes cuando, en realidad, solo es un irrelevante detector de sonrisas.
Una versión de este artículo fue publicada originalmente en la revista Telos de Fundación Telefónica.