UPLAWDING EP 6 - FACIAL RECOGNITION TECHNOLOGY: SOFTWARE CHE SONO DISCRIMINANTI
[questo è il transcript dell'episodio uscito mercoledì 17/06/2020]
Hello world! Dopo una settimana di pausa, eccomi di nuovo qua, per parlarvi ancora di diritto e nuove tecnologie. Spero di non esservi mancato troppo!
Sigla
In queste due settimane sono successe molte cose in giro per il mondo: le manifestazioni contro la police brutality negli Stati Uniti si sono intensificate, le statue hanno iniziato a cadere anche in Europa, e sembra che il malcontento delle minoranze abbia provocato qualche piccolo cambiamento. Oggi vi parlo proprio di uno di questi.
La Facial Recognition Tecnology (o FRT) è un software che utilizza una intelligenza atificiale (della quale parlo nel terzo episodio, per cui se non l’avete sentito andatelo a recuperare) che è in grado di svolgere due compiti:
Il primo consiste nel comparare due immagini di due volti e dire se quei volti combaciano, cioè se sono in realtà il volto della stessa persona (approccio one-to-one)
Il secondo compito è più complicato: al software viene fornito un database – un’enorme scatola piena di foto - contenente centinaia di migliaia di volti. Questo database costituisce una sorta di memoria del software. Dopodichè gli viene mostrata un’altra fotografia e il software è in grado di dirci se, tra le persone raffigurate in quest’ultima sono presenti volti contenuti nel database. In altre parole: se al software viene mostrata una foto ritraente la curva degli ultras questo è in grado di dirci chi tra le persone contenute nel database era presente quel giorno alla partita. Questo approccio è detto one-to-many.
La FRT viene utilizzata per una moltitudine di scopi: quello dello stadio è solo uno di essi, ed è già presente in alcune città inglesi per verificare se tra i tifosi si sono infiltrate persone alle quali è stato proibito di assistere alle partite dal vivo. Altri esempi sono i parchi divertimento in Cina come forma alternativa al biglietto d’ingresso, ma anche gli iphone, che usufruiscono della telecamera e di FRT per sbloccare il cellulare.
Gli utilizzi più rilevanti e più preoccupanti tuttavia sono quelli delle forze dell’ordine: i corpi di polizia hanno iniziato, non solo negli Stati Uniti, ma anche in Francia e Germania, ad affidarsi alla FRT per ricercare criminali, per gestire i traffici aeroportuali e per identificare le persone che varcano la frontiera. Oggi mi limiterò solo al primo caso.
I problemi centrali della FRT sono due: la violazione della privacy e la discriminazione delle minoranze.
Andiamo con ordine.
Il punto fondamentale della prima questione riguarda il trattamento dei dati personali. Il volto rientra infatti in quest’ultima categoria, dato il suo stretto legame con l’identità dell’individuo. Ciò significa che si può applicare, in Europa il c.d. GDPR – il regolamento generale per la protezione dei dati n. 679/2016, promulgato dall’UE. Dunque la raccolta ed il trattamento dei dati devono essere:
a) Legali, trasparenti e giusti.
b) Devono seguire uno scopo specifico, esplicito e legittimo definito da una apposita legge
c) Devono rispondere ai requisiti di accuratezza, minimizzazione dei dati, sicurezza dei dati, e limitazione dell’archiviazione
Questi requisiti devono essere tanto più stringenti quanto più sensibili sono i dati da raccogliere e trattare. Essendo considerato il volto uno dei dati più sensibili ed identificativi dell’individuo, i casi in cui questi possono essere raccolti e trattati devono essere decisamente limitati, come ad esempio la lotta al terrorismo, la ricerca di criminali che hanno commesso crimini gravissimi oppure per ritrovare persone scomparse.
Ma cosa c’entra tutto ciò con le proteste successive all’uccisione di George Floyd?
Ecco qui il secondo problema. Per funzionare la FRT necessita di centinaia di migliaia, se non milioni di volti, che vengono analizzati dal software per elaborare una serie di criteri utili per individuare o categorizzare una persona. Alcuni esempi sono la distanza tra gli occhi, la profondità degli zigomi, la forma delle sopracciglia. Maggiore è il numero di volti forniti, maggiore è la precisione del software.
MA c’è un grosso MA.
Alcuni studi effettuati sulle FRT (tra i quali ne emerge uno portato avanti dall’MIT) mostrano come queste tecnologie soffrano di un bias, un pregiudizio. Funzionano benissimo se il soggetto da individuare è un uomo bianco – arrivando ad una precisione superiore al 99% in alcuni casi – ma performano molto peggio con le minoranze, soprattutto se di etnia afroamericana e se di genere femminile. Il margine di errore aumenta in questi casi fino al 34%! Questo perché al momento della programmazione le minoranze etniche e il genere femminile sono purtroppo sottorappresentati, e quindi il software ha meno informazioni con cui lavorare. A questo si aggiunga che la precisione del software è proporzionale alla qualità e all’illuminazione dell’immagine da analizzare. I volti più scuri per essere correttamente processati richiedono una illuminazione più elevata, che però è più difficile da ottenere in spazi urbani stracolmi di persone.
Sempre dagli studi citati poco fa emerge che il numero di falsi positivi (cioè il numero di persone che vengo identificate con il soggetto ricercato ma che in realtà non lo sono) è decisamente discriminante, e la conseguenza è che un uso esteso di FRT determinerebbe un alto numero di innocenti che si trovano a scontare una pena per un reato mai commesso.
Lasciate che vi parli un attimo di numeri. Se la percentuale di errore di una FRT fosse anche solo dell’1%, ciò significherebbe che su una folla di 100.000 persone, 1000 sarebbero potenzialmente identificate erroneamente. Se si aggiunge che circa il 90% di questi errori riguarda le minoranze, la situazione si aggrava di molto e pesa proprio su quelle categorie che già di per sé subiscono discriminazioni.
È proprio a causa di queste discriminazioni che l’uso di queste tecnologie è stato al centro di forti critiche da parte degli studiosi del tech e di attivisti del movimento blacklivesmatter, le quali hanno trovato una enorme cassa di risonanza nelle manifestazioni successive alla morte di George Floyd. Le proteste sono state così tante da spingere prima IBM nella giornata di lunedì 8, e poi Amazon due giorni dopo, ad annunciare la sospensione della fornitura del servizio ai dipartimenti di polizia Americani per almeno un anno, in modo da lasciare tempo al Congresso (l’organo legislativo statunitense) per discutere e legiferare in materia.
Infatti la materia non è direttamente regolamentata, né negli USA, né in Europa, mentre al contrario tali tecnologie si stanno diffondendo molto velocemente, soprattutto in Cina, dove sono parte integrante del sistema di controllo civile che come tutti sappiamo non lascia spazio alle libertà individuali.
Con questo non voglio dire che sia necessaria una sorta di messa al rogo totale delle FRT; ma che c’è bisogno di una legge, che definisca accuratamente i limiti di utilizzo; eventualmente di istituire un’autorità di controllo esterna ed indipendente che monitori la situazione; ed in ultimo che i programmatori si impegnino a sviluppare dei software più equi.
Voi come la pensate? Fatemi sapere il vostro pensiero commentando sotto il podcast, oppure scrivetemi su instagram o facebook, mi trovate come @virtual.vito
Inoltre vi annuncio che il sito virtualvito.com si sta ampliando: adesso contiene una sezione dedicata ad un blog, in cui pubblicherò ulteriori contenuti e in cui potrete non solo commentare tutti gli episodi di uplawding, ma anche trovare ulteriori documenti per approfondire.
Io sono virtual.vito, questo era uplawding, e ci vediamo mercoledì prossimo, sempre alle 10.00. Ciao!
FONTI:
the guardian https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-black-lives-matter
european union agency for fundamental rights
2. https://fra.europa.eu/sites/default/f...
wired https://www.wired.com/story/ibm-withdrawal-wont-mean-end-facial-recognition/
salvis juribus http://www.salvisjuribus.it/riconoscimento-biometrico-giurisprudenza-a-livello-comunitario-e-nazionale/.
Gender shades - MIT media lab http://gendershades.org/