“Big data e algoritmi. Prospettive critiche” di Teresa Numerico

Prof.ssa Teresa Numerico, Lei è autrice del libro Big data e algoritmi. Prospettive critiche edito da Carocci: a quali rischi ci espongono le tecnologie dell’intelligenza artificiale?
Non parlerei precisamente dei rischi dell’intelligenza artificiale. Quello che ci espone a dei rischi è la mancanza di comprensione di ciò che si fa con questi strumenti. Il problema è che se si attribuiscono poteri magici alle tecnologie, e se le tecnologie in molti casi non consentono di controllare come vengono usate, allora possiamo attribuire loro dei compiti che, pur non essendo in grado di compiere meglio delle persone, vengono svolti dai dispositivi senza possibilità di una interlocuzione critica.

Attualmente le tecniche di intelligenza artificiale di maggior successo sono quelle basate sul machine learning e sul deep learning il cui funzionamento riposa sul fatto che siano disponibili grandi quantità di dati che possono essere sia dati strutturati, sia dati non strutturati.

Non sempre l’intelligenza artificiale si è basata su questi metodi. In passato i sistemi erano organizzati attraverso la definizione di regole di inferenza molto precise e la base dati era creata in modo esplicito dai programmatori. Ma quelle tecniche non ebbero molto successo e non andarono oltre la soluzione di problemi giocattolo.

Ora invece, complice la grande quantità di dati disponibile online, ma non solo, le nuove tecniche chiamate sempre intelligenza artificiale si riferiscono a metodi diversi e hanno fornito un aiuto per estrarre correlazioni utili tra questi dati senza doverli creare ex novo.

I motivi per i quali non è consentito guardare nella scatola nera delle tecnologie dell’IA sono vari. Una prima ragione riguarda il fatto che spesso questi strumenti sono sviluppati da grandi aziende come Google, Amazon, Facebook ecc. che considerano che i loro strumenti debbano restare inaccessibili per preservare il loro vantaggio competitivo. Questo rende impossibile guardare dentro i meccanismi di funzionamento. Un altro motivo dell’impossibilità del controllo sulle tecniche risiede nella grande quantità di dati che serve a questi meccanismi perché possano funzionare. I dati diventano inaccessibili non tanto perché lo siano materialmente, ma perché nessuna persona è in condizione dal punto di vista cognitivo da sola di controllare cosa ci sia dentro le banche dati che servono per addestrare i sistemi di machine learning che poi si usano per l’intelligenza artificiale.

Quali riflessioni ontologiche, epistemologiche e critiche solleva la costruzione dei dati?
Quando si parla dei dati si ritiene che questi siano prodotti in modo automatico, che discendano direttamente dai fenomeni di cui sono la traccia. Ma non è così. I dati, come ogni altro sistema di rappresentazione, sono costruiti. Tale costruzione rispecchia diversi tipi di vincoli che vengono usati per raccoglierli, organizzarli, categorizzarli e ‘pulirli’ affinché possano essere adottati come strumento per addestrare la macchina. Tutte queste attività che stanno intorno alla loro creazione sono completamente passate sotto silenzio dalla vulgata della retorica sulla capacità dei big data di parlare da soli, senza bisogno di alcun intervento. Questa è l’idea che cerco di smontare nel libro facendo vedere che i dati sono costruiti come ogni altro meccanismo che si usa per attivare una rappresentazione. I metodi per rappresentare i fenomeni possono essere vari e sono tutti legittimi, a condizione che sia chiaro che si tratta di processi di astrazione e di estrazione di alcune caratteristiche salienti dei fenomeni da rappresentare, lasciando nascoste altre parti che si decide di ignorare.

Un processo di astrazione letteralmente astrae da certe caratteristiche che vengono considerate contingenti o irrilevanti per soffermarsi su altre che considera più rilevanti ai fini del proprio obiettivo, per esempio quello della classificazione.

Ma se non si comprende che i dati sono il frutto di una costruzione non si può nemmeno prestare attenzione agli eventuali effetti distorsivi di tale processo.

Rappresentare è legittimo ma bisogna fare attenzione al potenziale discriminatorio e silenziante che potrebbe avere una rappresentazione i cui criteri sono inabissati e non possono essere oggetto di una valutazione da terze parti. Diciamo che sarebbe necessario quantomeno un processo di auditing su come i dati vengono raccolti e organizzati, soprattutto quando le raccomandazioni frutto della estrazione di pattern dai dati riguardano le persone e possono avere effetto sulla capacità o meno di tutelare i loro diritti.

Esiste, infatti, una asimmetria molto profonda tra coloro che sono i possessori dei dati (le grandi aziende internet o gli attori di terza parte) e coloro a cui i dati appartengono e che li concedono in cambio dell’uso dei servizi internet.

Le aziende che li detengono, infatti, li usano in modi opachi e inaccessibili da coloro che sono oggetto del trattamento. Inoltre, i dati possono essere prodotti dalle persone o possono essere prodotti avendo come oggetto le persone e le loro abitudini. Coloro che sono oggetto del trattamento non hanno nessun controllo sulle interpretazioni che i detentori dei dati, nella forma delle piattaforme esercitano. Tali interpretazioni, però, non hanno nessuna speciale legittimità, e come ogni interpretazione sono soggette all’errore, all’arbitrio, all’equivoco e a un potenziale di sfruttamento.

Chi raccoglie i dati sulle persone si trova nella posizione del poliziotto al momento dell’arresto: “ogni cosa che dirai (o farai) può essere usata contro di te” dal momento che qualcuno si trova sotto custodia.

Ma quando viviamo la nostra vita digitale non abbiamo la consapevolezza che ogni cosa che facciamo o diciamo possa essere usata contro di noi, e le piattaforme non dovrebbero avere l’autorità della forza pubblica al momento dell’arresto. Inoltre, nessuno ci rende consapevoli dei nostri diritti nel momento in cui usiamo questi strumenti, nemmeno nel caso in cui a farlo siano minori o persone in qualunque modo fragili.

Tutto questo non può che farci pensare. Il fatto che c’è la disponibilità di registrare ogni nostra azione online, non mette coloro che sono in controllo dei mezzi di registrazione al riparo dal dover rispettare le regole. Non tutto quello che è fattibile è legittimo.

A quali conseguenze impreviste può condurre la correlazioni tra dati?
Esistono dei risultati teorici (Calude e Longo 2017) che mostrano come all’aumentare dei dati aumentano anche le correlazioni spurie, cioè correlazioni che non significano nulla sebbene consentano di mettere in rapporto due diverse serie di dati.

L’idea centrale che sta dietro il trattamento algoritmico dei big data è che analizzando grandi quantità di dati attraverso strumenti algoritmici sia possibile trovare correlazioni tra le serie dei dati che non sono visibili a occhio nudo. Sebbene tali correlazioni non costituiscano delle spiegazioni del perché due variabili siano interdipendenti, è possibile comunque fare delle previsioni circa come le variabili si comporteranno in futuro a partire dalle correlazioni che hanno avuto in passato. Ovviamente questo argomento presuppone che queste correlazioni non siano spurie, perché altrimenti ci condurrà a fare predizioni sbagliate, in quanto le serie possono essere correlate per un certo periodo in modo casuale, ma non presentare nessuna vera interdipendenza.

Quali rischi sono insiti nei processi di predizione algoritmica?
Questa risposta è collegata alla precedente. Se i meccanismi per costruire correlazioni tra le variabili non sono adeguati e giusti si avranno predizioni scorrette.

Possiamo dire qualcosa in più a questo proposito perché le predizioni discriminatorie e inique possono avvenire non solo a causa delle correlazioni spurie.

I meccanismi predittivi sui quali si basano le tecniche di machine learning sono fondamentalmente due che possono essere poi mescolati in diverse salse. Il primo è il principio di induzione, secondo il quale se una certa situazione è stata sperimentata in passato tenderà a reiterarsi. Questo metodo di argomentare e interpretare i dati è molto problematico.

Il principio di induzione vale per i numeri che sono costruiti strutturalmente come una serie, e anche all’interno dei numeri ci sono non poche controversie sul suo funzionamento, ma quando usciamo dal contesto dei numeri, cosa ci garantisce che quello che si è verificato in passato si verificherà anche in futuro?

Si tratta di una rappresentazione della società in senso conservatore. Da questo principio e dai dati sulla occupazione femminile – inferiori a quella maschile – si dedurrà che gli uomini sono più bravi a trovare lavoro rispetto alle donne. Se in un ufficio ci sono soprattutto dipendenti uomini e si fa una valutazione sull’efficienza lavorativa, l’esigua minoranza di dipendenti donne, confermerà che sono più bravi gli uomini e che sia meglio assumere un altro uomo piuttosto che una donna.

Insomma, il combinato disposto della struttura discriminatoria della società così com’è e del principio di induzione tenderà a mantenere, anzi amplificare, lo status quo.

Si potrebbe parlare di previsioni scorrette, ma questo non è completamente vero. Una previsione non è scorretta. Se dico che all’80% è meglio assumere un uomo. Non sto facendo nessuna scorrettezza, perché resta che al 20% potrei assumere una donna e la previsione non sarebbe falsificata.

Il fatto è che queste previsioni tendono ad avere un carattere normativo e a verificare la realtà che stanno ‘suggerendo’ con le loro raccomandazioni.

Il secondo principio che presiede alle inferenze interpretative del pattern recognition rispetto ai dati nell’ambito del machine learning è il quello della somiglianza: oggetti di analisi simili per alcune caratteristiche tenderanno a comportarsi in modo simile in certi contesti prestabiliti.

Tuttavia, anche qui la logica discriminatoria è in agguato. Se dico che le persone appartenenti a una certa etnia sono tutti scansafatiche, voi fate un salto sulla sedia e mi date della razzista. Ma se l’algoritmo dice, le persone che abitano in questo quartiere hanno una alta probabilità di non ripagare i loro debiti, nessuno fa una piega. Anzi plaudiamo all’efficienza dell’algoritmo che ha consentito alla finanziaria di evitare di fare credito a un cattivo pagatore. Ma se riflettiamo sul fatto che i quartieri a volte sono ghetti e che certe aree sono abitate da popolazione di una certa etnia perché spesso non si può permettere di pagare affitti più alti, allora le cose cambiano. Le persone che abitano in un certo quartiere hanno l’unica somiglianza di non avere grande disponibilità economica, ma vengono discriminate e non ottengono la merce a credito perché i loro vicini non hanno ripagato i loro debiti.

Quale sarebbe la differenza tra questa inferenza e il controverso proverbio: dimmi con chi vai e ti dirò chi sei?

Insomma, se le persone sono simili, vuol dire che hanno anche delle differenze, e come le raggruppiamo sulla base di somiglianze e differenze è frutto di giudizi e interpretazioni. Se queste interpretazioni sono date in forme algoritmiche e quantificate non le esime dall’esercizio arbitrario di meccanismi soggettivi di valutazione.

Questo deve essere sempre molto chiaro quando si attribuisce agli algoritmi la possibilità di prendere decisioni che riguardano la vita delle persone: accesso alle cure o al welfare, la ricerca di lavoro, la valutazione della tendenza a reiterare un crimine, il predictive policing ecc. ecc.

Su quali presupposti deve fondarsi l’equità algoritmica?
L’equità algoritmica si deve fondare sulla possibilità di guardare dentro la scatola tecno-sociale che presuppone la presa di decisione in contesti sensibili socialmente. Deve essere chiaro quale principio anima il meccanismo algoritmico, deve essere accessibile anche il metodo attraverso il quale si è proceduto a implementare questo principio nel software, deve essere accessibile la base dati che è servita per addestrare l’algoritmo e anche il criterio adottato per classificare ed etichettare i dati.

Per garantire l’equità algoritmica il processo di valutazione deve essere controllabile e deve essere possibile sancire che la giustizia sui dati sia garantita. Deve essere tutelato il diritto alla spiegazione di chi è oggetto della decisione e tale diritto deve dispiegarsi in modo chiaro, così come pretendiamo da un giudice o da un funzionario pubblico che emetta una sentenza leggibile e comprensibile e di cui sia concretamente responsabile. Non si vede perché la valutazione esercitata da una macchina deve avvenire riducendo le garanzie per chi è oggetto di quel giudizio.

Quali prospettive per i critical algorithmic studies?
Credo che i critical algorithmic studies siano una disciplina indispensabile per contrastare la retorica sulla capacità dei dati di parlare da soli.

È necessario costruire metodi e criteri per esercitare il controllo sui meccanismi algoritmici per la presa di decisione. Dobbiamo aver chiaro che nessuno ha la palla di cristallo su come fare previsioni e che le raccomandazioni sono l’effetto di un certo orientamento rispetto alla situazione sulla quale dare consigli.

Nella presa di decisione in contesti complessi e incerti non c’è la possibilità di un unico criterio di efficienza e ottimizzazione. Si tratta di una mediazione tra interessi complessi e contraddittori. Tale mediazione è relativa a un preciso sistema di potere, anche quando questo è inabissato dentro illeggibili stringhe di codice.

Non esiste nessuna neutralità nella presa di decisione, e non è possibile garantire nessuno sguardo oggettivo sulle situazioni.

Gli studi critici sugli algoritmi sono l’unica possibilità di comprendere il carattere soggettivo e interpretativo di ogni presa di decisione. Tale comprensione non significa abolire gli strumenti algoritmici, che sarebbe anacronistico, ma comprendere che un giudizio, anche se è espresso in forma di previsione statistica, non è per questo meno il frutto di una scelta di rappresentazione e di interpretazione sul fenomeno da valutare.

Teresa Numerico è professoressa associata di Logica e Filosofia della scienza all’Università Roma Tre. Si occupa di filosofia della tecnologia. Tra le sue pubblicazioni: Alan Turing e l’intelligenza delle macchine (FrancoAngeli, 2005), Web Dragons (con M. Gori e I. Witten; Morgan Kaufmann, 2007) e L’umanista digitale (con D. Fiormonte e F. Tomasi; Il Mulino, 2010; trad. ingl. Punctum Books, 2016).