por SERGIO AMADEU DA SILVEIRA*
Los riesgos de efectos extremadamente nocivos para las sociedades.
Hay una lógica reforzada por la actual supremacía neoliberal de que toda tecnología inventada debe ser utilizada. Una variante de este pensamiento se puede encontrar en la frase “cuando una tecnología es de interés comercial no hay forma de detenerla”. Sin embargo, los hechos indican otras posibilidades. Muchas tecnologías fueron prohibidas y otras, después de cierto tiempo, fueron prohibidas.
Por ejemplo, las armas químicas se consideran inaceptables y los países democráticos no las utilizan. Se han abolido varios pesticidas, como el peligroso DDT. En 2015, cientos de personalidades, incluidos Noam Chomsky y Stephen Hawking, firmaron una carta abierta titulada “Armas autónomas: una carta abierta de investigadores de inteligencia artificial y robótica” pidiendo la prohibición de las armas de inteligencia artificial. La Unión Europea ha fijado una moratoria a los transgénicos desde hace más de cinco años. Finalmente, varias tecnologías siempre han sido reguladas por las democracias, ya que su fabricación o uso podría traer riesgos y efectos extremadamente dañinos para las sociedades.
Actualmente, está creciendo una movilización mundial para prohibir las tecnologías de reconocimiento facial. En 2019, antes de la pandemia, los legisladores de San Francisco, California, decidieron prohibir el uso del reconocimiento facial por parte de las agencias locales, incluida la policía y las autoridades de transporte. También se definió que cualquier tecnología de vigilancia debe ser aprobada por los administradores de la ciudad y ya no puede considerarse una decisión exclusivamente técnica. La razón es simple. Los beneficios del reconocimiento facial no superan sus riesgos y usos peligrosos. Según varios concejales de la ciudad de San Francisco, esta tecnología se ha utilizado para debilitar aún más a los grupos sociales marginados.
Según la Red de Observatorios de Seguridad, en Brasil, el 90% de las personas detenidas por reconocimiento facial son negras. La biometría de identificación basada en rostros, en general, utiliza los denominados algoritmos de identificación. deep learning o el aprendizaje profundo, una de las ramas paraguas de las tecnologías de inteligencia artificial que se basan en una gran cantidad de datos para adquirir una calidad aceptable. En general, estos algoritmos se entrenan en bases de datos de fotografías para mejorar la extracción de patrones faciales y su capacidad para identificar rostros.
La investigadora del MIT-Media Lab, Joy Buolamwini, ha demostrado que los algoritmos de aprendizaje automático pueden discriminar según la clase, la raza y el género. En un texto firmado con Timnit Gebru, llamado Tonos de género: disparidades de precisión interseccional en la clasificación comercial de género, Buolamwini analizó 3 sistemas comerciales de clasificación de género a partir de un conjunto de fotos. Descubrieron que las mujeres de piel más oscura eran el grupo más mal clasificado (con tasas de error de hasta el 34,7%).
Es importante entender cómo funciona un sistema algorítmico de reconocimiento facial. Es un proceso automatizado que compara una imagen capturada por una cámara o dispositivo de recolección con imágenes almacenadas en una base de datos. Una de las primeras misiones del algoritmo es poder detectar el rostro de la persona dentro de la imagen. Después de detectar el rostro, es necesario alinearlo, colocarlo virtualmente en una posición determinada que facilite la siguiente fase, que es la extracción de medidas. El algoritmo, según su entrenamiento previo, medirá la distancia entre los ojos, entre los ojos y la nariz, la posición de la boca, la textura de la piel, en definitiva, extraerá medidas de la imagen, cuantificará él.
Luego, según tu modelo, compararás la imagen cuantificada con cada una de las fotografías escaneadas e insertadas en tu base de datos. Así, el algoritmo emite una puntuación al comparar dos imágenes, dos caras, la de tu objetivo y la almacenada en la estructura de datos. Como traté de mostrar aquí, los sistemas de reconocimiento son probabilísticos. No pueden responder si esa imagen es o no de una determinada persona. Proporcionan porcentajes de similitud y diferencia.
Algunos sistemas pueden ofrecer el porcentaje de comparación de varias imágenes y ofrecer alternativas faciales para identificar un objetivo determinado. El entrenamiento de algoritmos es fundamental para poder extraer patrones de fotografías, ya que deben extraer patrones de imágenes en diferentes posiciones. Este proceso requiere de miles de fotos para realizar el entrenamiento. A menudo necesitan refuerzos y etiquetado realizados por humanos.
La acción de los drones militares que utilizan sistemas de identificación facial puede ayudarnos a entender este problema. Investigador Gregory S. McNeal, en el texto “Práctica estadounidense de estimación y mitigación de daños colaterales”, analizó los efectos secundarios de los ataques realizados por drones. Dichos vehículos aéreos no tripulados cuentan con cámaras de alta resolución que permiten identificar objetivos. McNeal evaluó los daños colaterales causados por los drones que provocaron la muerte de civiles en Irak y Afganistán. Concluyó que el 70% de ellos se debieron a errores en la detección de identidad, es decir, involucraron la denominada falla de “identificación positiva”. Pero, ¿qué sería una identificación positiva en un sistema probabilístico? 80% de similitudes? 90%? 98%? ¿Cuál es el porcentaje aceptable para que consideremos que se ha detectado una persona buscada?
El reconocimiento facial es biométrico y forma parte de la categoría de los denominados datos sensibles. Pueden crear estigmas. Es necesario que se analicen sus usos desde el principio de precaución. Actualmente se utilizan para identificar clases peligrosas y segmentos marginados. Permiten la persecución de objetivos en tiempo real. Los sistemas automatizados de reconocimiento facial refuerzan los prejuicios y expanden el racismo estructural en la sociedad, así como favorecen el acoso a homosexuales, transexuales y activistas indeseables para la Policía. Son tecnologías de acoso, vigilantismo y persecución.
En Brasil, soy considerado una persona blanca. Dada mi edad y tipo de cuerpo, si un sistema algorítmico de la policía me identificara erróneamente en las cámaras del barrio de clase media en el que vivo, probablemente adoptaría un enfoque más civilizado. Incluso podría ser llevado a una Comisaría de Policía. Allí se detectaría el error del sistema de reconocimiento facial y se reportaría el “falso positivo”.
Sin embargo, imagina a un joven negro que llega del trabajo en Jardim Ângela o Sapopemba y es identificado erróneamente por el sistema de reconocimiento facial como un criminal peligroso. Dependiendo de la unidad de Rota que se le acerque, es posible que no tenga ninguna posibilidad de mantenerse con vida. Reivindico que las tecnologías de reconocimiento facial pueden contribuir, hoy, a las prácticas de exterminio de jóvenes negros en las periferias. Pueden servir para perseguir políticamente a líderes de movimientos sociales, especialmente en áreas donde las milicias se yuxtaponen en la maquinaria estatal.
Además, la identificación biométrica es un dispositivo típico de los viejos dispositivos eugenésicos. Se utilizan para identificar inmigrantes y segmentos indeseables en Europa y Estados Unidos. En China sirven a un autoritarismo inaceptable en una democracia. Las personas identificadas por cámaras conectadas a sistemas de reconocimiento facial realizando acciones no recomendadas verán alterada su puntuación y tendrán dificultades para obtener beneficios del Estado.
Sin la posibilidad de defensa, sin poder impugnar el modelo de probabilidad de reconocimiento, la vigilancia policial ubicua a través de cámaras que alimentan los sistemas de reconocimiento facial no es aceptable en las democracias. Tenemos que detener su expansión. De hecho, necesitamos prohibirlos si queremos tener una coherencia mínima con el principio de precaución. No podemos usar una tecnología que utiliza sistemas algorítmicos que están viciados y que todavía no permiten una explicación adecuada. Necesitamos prohibir las tecnologías de reconocimiento facial hasta que puedan ser socialmente no discriminatorias, auditables y más seguras.
*Sergio Amadeu de Silveira es profesor de la Universidad Federal del ABC. Autor, entre otros libros, de Software libre: la lucha por la libertad del conocimiento (Conrado).
