[Torna su]

Fino a poco tempo fa appannaggio degli informatici, gli algoritmi sono entrati in modo pervasivo nelle nostre vite quotidiane: trading algoritmico, pregiudizio algoritmico, algoritmo di Facebook, persino guerra algoritmica. Tutti questi termini sono entrati a far parte del nostro vocabolario negli ultimi anni, tanto che vi è chi sostiene che viviamo in una nuova era: l'era dell'algoritmo. Tuttavia, li usiamo da centinaia e migliaia di anni. Il termine algoritmo deriva infatti dal nome di Muhammad ibn M?s? al'Khw?rizm?, matematico persiano del IX secolo. Il termine, latinizzato, significava "il sistema dei numeri decimali" e venne usato con questo significato per secoli. I primi algoritmi vennero "catturati" su carta nell'Antica Grecia. Studiosi come Nicomaco di Gerasa ed Euclide stavano così creando i mattoni della matematica moderna e per facilitare la comprensione e l'applicabilità delle loro idee, molte di esse furono espresse come step-by-step actions. Secondo la definizione di Dourish, gli algoritmi non sono altro che descrizioni specifiche delle azioni che devono essere compiute passo dopo passo per ottenere un determinato risultato e sono uno degli strumenti più comuni di condivisione della conoscenza.[1] Nicomaco di Gerasa introdusse il setaccio di Eratostene, utilizzato ancora oggi dagli studenti che imparano a scrivere codici informatici efficienti, che ha contribuito a semplificare il processo di identificazione dei numeri primi, numeri naturali, maggiori di uno, che non possono essere formati moltiplicando due numeri naturali più piccoli. Mentre non è difficile identificare i primi numeri primi, trovare grandi numeri primi richiede molto tempo, e i grandi numeri primi sono essenziali nella crittografia. Il setaccio di Eratostene fornisce istruzioni passo passo per eliminare rapidamente tutti i numeri non primi da un insieme definito di numeri (ad esempio tra 1 e 10.000) fino a lasciare solo i numeri primi. Oggi sono disponibili numerosi algoritmi che semplificano il compito di identificare tali numeri. Il setaccio di Eratostene ha dato il via a un'intera famiglia di algoritmi che hanno lo stesso obiettivo e che stanno diventando sempre più efficaci (più rapidi o che richiedono meno passaggi) per individuare i numeri primi. La nozione moderna di algoritmo è emersa in lingua inglese nel XIX secolo, ed è diventata più comunemente utilizzata a partire dagli anni '50, in seguito alla comparsa dei primi computer disponibili in commercio: descrizione astratta e formalizzata di una procedura di calcolo, da cui deriva che il processo decisionale algoritmico riferisce al procedimento attraverso il quale un algoritmo produce un risultato. A volte un algoritmo decide in modo completamente automatico; ne è un esempio un filtro antispam che può filtrare automaticamente le junk mail dal proprio account di posta elettronica. Altre volte le decisioni sono solo parzialmente automatizzate: un impiegato di banca può decidere ad esempio se un cliente può chiedere un prestito, dopo che un sistema algoritmico ne ha valutato l'affidabilità creditizia.

Tuttavia, quando si parla di discriminazione, molti rischi sono simili per le decisioni completamente e parzialmente automatizzate. Le persone infatti potrebbero seguire le raccomandazioni dei computer perché tali raccomandazioni sembrano razionali o infallibili, oppure perché cercano di minimizzare le proprie responsabilità. [1]

Alan Turing, considerato il padre dell'informatica, è stato il primo a ipotizzare una macchina programmabile e a porsi il quesito su dove l'automazione potesse spingersi, ponendo le basi per la nascita del concetto di intelligenza artificiale. Turing non si chiese se una macchina potesse essere intelligente, ma quanto una macchina potesse sembrare simile, dal punto di vista cognitivo, a un essere umano. Questo lo portò a formulare nel 1950, nell'articolo "Computing machinery and intelligence", pubblicato sulla rivista Mind, il famoso Test di Turing, criterio per stabilire se una macchina è in grado di pensare come un essere umano, che prese spunto da un gioco, chiamato "gioco dell'imitazione". Nella formula originale il test prevedeva tre partecipanti: un uomo, una donna e una terza persona, quest'ultima che non poteva avere contatti con le prime due e alle quali poteva porre una serie di domande per stabilire chi dei due fosse l'uomo e chi la donna. L'uomo aveva anche il compito di ingannare la terza persona, mentre la donna aveva il compito di aiutarla. Per evitare che vi fossero contatti, le interazioni dovevano essere trasmesse, ad esempio, dattiloscritte. Per macchina intelligente Turing ne intendeva una in grado di pensare, ossia capace di concatenare idee e di esprimerle.[2]

"Un computer meriterebbe di essere definito intelligente se potesse ingannare un uomo facendogli credere di essere umano", scrisse Turing nel 1950 definendo il suo Test, che negli anni è stato più volte riformulato per renderlo più affidabile, dal momento che anche semplici applicazioni, evidentemente non intelligenti, in alcuni casi riuscivano a superarlo. Considerato tuttavia non formale, il test di Turing non è in grado di separare la conoscenza dall'intelletto. In ogni caso, è la chiave per capire cosa si cerca di fare oggi con l'intelligenza artificiale, ovvero risolvere problemi di ottimizzazione e fornire un supporto ai processi decisionali, non certo creare una macchina pensante, con coscienza di sé e in grado di assumere decisioni. "If a machine is expected to be infallible, it cannot also be intelligent".[2] L'intelligenza artificiale è la simulazione dei processi di intelligenza umana da parte di macchine, in particolare di sistemi informatici, e può essere descritta come lo studio della progettazione di agenti intelligenti, laddove un agente è qualcosa che agisce. Le applicazioni specifiche dell'intelligenza artificiale comprendono i sistemi esperti, ovvero programmi informatici che utilizzano tecnologie di intelligenza artificiale per simulare il giudizio e il comportamento di un essere umano o di un'organizzazione che ha competenza ed esperienza in un particolare campo; l'elaborazione del linguaggio naturale, (natural language processing NLP) che si occupa di dare ai computer la capacità di comprendere testi e parole pronunciate in modo simile a quello degli esseri umani. La NLP combina la linguistica computazionale (la modellazione del linguaggio umano basata su regole) con modelli statistici, di apprendimento automatico e di apprendimento profondo. Insieme, queste tecnologie consentono ai computer di elaborare il linguaggio umano sotto forma di testo o dati vocali e di comprenderne il significato completo, con l'intento e il sentimento di chi parla o scrive. Il riconoscimento vocale e la visione artificiale. I recenti progressi dell'intelligenza artificiale, grazie soprattutto alla disponibilità di enormi quantità di dati, rientrano nella categoria dell'apprendimento automatico, in inglese machine learning, che comporta la programmazione di computer per imparare da dati esemplificativi o esperienza passata: un processo automatizzato di scoperta di correlazioni, a volte alternativamente denominate relazioni o modelli, tra variabili in un insieme di dati, spesso per fare previsioni o stime di un risultato. Quando si parla di previsione, di solito significa anticipare ciò che accadrà in futuro: l'apprendimento automatico può essere utilizzato per prevedere se un cliente della banca sarà inadempiente su un prestito, ma può anche essere applicato al presente, ad esempio utilizzando i sintomi per sviluppare una diagnosi medica. Gli ambienti con un alto grado di complessità sono quelli in cui l'apprendimento automatico è più utile. I progressi nella velocità di calcolo, nella memorizzazione dei dati, nel recupero dei dati, i sensori e gli algoritmi si sono combinati, portando a una drastica riduzione del costo della previsione. Altrettanto importante è ciò che è accaduto al valore: la previsione diventa più preziosa quando i dati sono più disponibili e più accessibili e la rivoluzione informatica ha permesso di aumentare enormemente sia la quantità che la varietà di dati, rendendo la previsione possibile per una sempre più ampia gamma di attività. Il successo è stato tale che oggi le espressioni intelligenza artificiale e apprendimento automatico vengono spesso usate in modo intercambiabile.[3] Chi giudica? Il giudizio è la capacità di prendere decisioni ponderate per comprendere l'impatto che diverse azioni avranno sui risultati alla luce delle previsioni. Compiti in cui il risultato desiderato può essere facilmente descritto e la necessità è limitata per il giudizio umano sono generalmente più facili da automatizzare. Per altri compiti, descrivere un risultato preciso può essere più difficile, in particolare quando il risultato desiderato risiede nelle menti degli umani e non può essere tradotto in qualcosa che una macchina può capire. Questo non significa che la nostra comprensione del giudizio umano non migliorerà e quindi diventerà soggetta all'automazione. Nuove modalità di apprendimento automatico possono trovare modi per esaminare le relazioni tra azioni e risultati e quindi utilizzare le informazioni per migliorare le previsioni.

Man mano che la tecnologia dell'intelligenza artificiale migliora, le previsioni dalle macchine prenderanno sempre più il posto delle previsioni da parte dell'uomo. In tale scenario andranno compresi quali sono i ruoli degli esseri umani che enfatizzeranno i loro punti di forza nel giudizio pur riconoscendo i propri limiti nelle previsioni. Per essere preparati a tale scenario futuro è necessario considerare tre aspetti tra loro interconnessi; la previsione non è la stessa cosa dell'automazione; è un input nell'automazione, ma un'automazione di successo richiede altre attività, quali dati, giudizio ed azione. Ad esempio, la guida autonoma coinvolge la visione (dati); gli scenari (dati input sensoriali); quale azione farebbe un essere umano (previsione); la valutazione delle conseguenze (giudizio); l'accelerazione, la frenata e la sterzata (azione). Le competenze più preziose della forza lavoro saranno quelle complementari alla previsione, ovvero quelle relative al giudizio; per il momento si può solo ipotizzare quali aspetti del giudizio siano più vitali: la capacità di giudizio etico, l'intelligenza emotiva, il gusto artistico, la capacità di definire bene i compiti o altre forme di giudizio. In futuro sembra probabile che le organizzazioni avranno persone in grado di prendere decisioni responsabili, che richiedono un giudizio etico, di coinvolgere clienti e dipendenti, che richiedono intelligenza emotiva e di identificare nuove opportunità, che richiedono creatività.[4]

I rischi di discriminazione del processo decisionale algoritmico

Le decisioni algoritmiche possono essere a rischio di discriminazione, ad esempio quando il sistema ha imparato da decisioni umane discriminatorie. Un noto esempio di sistema algoritmico con effetti discriminatori è COMPAS, acronimo di Correctional Offender Management Profiling for Alternative Sanctions, che viene utilizzato in alcune zone degli Stati Uniti per prevedere se gli imputati commetteranno di nuovo reati. Il COMPAS ha lo scopo di aiutare i giudici a determinare se una persona detenuta può godere della libertà vigilata, e non utilizza l'origine etnica o il colore della pelle. Tuttavia, una ricerca del 2016 ha dimostrato che il COMPAS è prevenuto nei confronti dei neri. Nonostante predica correttamente la recidiva nel 61% dei casi, i neri hanno quasi il doppio delle probabilità rispetto ai bianchi di essere etichettati come a più alto rischio, senza tuttavia essere recidivi. L'errore è opposto per i bianchi: hanno molte più probabilità dei neri di essere etichettati come a basso rischio, ma di commettere altri reati.[5] Anche nel settore privato, il processo decisionale algoritmico può avere effetti discriminatori. Ad esempio, l'intelligenza artificiale può essere utilizzata dalle aziende per selezionare i dipendenti o dalle scuole per selezionare gli studenti. Training data distorti, tuttavia, potrebbero portare a decisioni discriminatorie, perché, come detto sopra, rappresentano decisioni umane discriminanti. Il rischio può essere illustrato con un esempio risalente agli anni '80 nel Regno Unito. Una scuola di medicina utilizzava un sistema algoritmico per selezionare gli studenti tra le numerose domande di ammissione. Il sistema era stato addestrato sui file di ammissione degli anni precedenti, quando erano i dipendenti della scuola a selezionare quali candidati potessero accedere alla facoltà di medicina. I training data hanno mostrato al sistema quali caratteristiche (l'input) si correlavano con l'output desiderato (l'ammissione alla facoltà di medicina) e come il sistema algoritmico avesse riprodotto quel metodo di selezione. Il programma informatico discriminava le donne e gli immigrati, dal momento che negli anni che hanno fornito i dati di addestramento, i selezionatori erano prevenuti nei confronti delle donne e degli immigrati.[6] Come ha osservato la rivista rivista medica britannica British Medical Journal [7] "Il programma non introduceva nuovi pregiudizi, ma rifletteva semplicemente quelli già presenti nel sistema". In sintesi, se un sistema algoritmico viene addestrato su dati distorti, il sistema rischia di riprodurre tali pregiudizi. I sostenitori delle tecniche algoritmiche, come il data mining, sostengono che queste tecniche eliminano i pregiudizi umani dal processo decisionale. Tuttavia, un algoritmo è buono solo quanto lo sono i dati con cui lavora. I dati sono spesso imperfetti, permettendo a questi algoritmi di ereditare i pregiudizi di chi ha preso le decisioni in precedenza. In altri casi, i dati possono semplicemente riflettere i pregiudizi diffusi che persistono nella società in generale. In altri ancora, il data mining può scoprire regolarità sorprendentemente utili che in realtà sono solo modelli preesistenti di esclusione e disuguaglianza. Un affidamento sconsiderato al data mining può negare la piena partecipazione alla società di gruppi storicamente svantaggiati e vulnerabili. Poiché la discriminazione risultante è quasi sempre una proprietà emergente non intenzionale dell'uso dell'algoritmo piuttosto che una scelta consapevole dei suoi programmatori, può essere insolitamente difficile identificarne la fonte. La pubblicità online mirata è in gran parte guidata da un processo decisionale algoritmico e può avere effetti discriminatori. Datta et al.,[8] hanno simulato degli utenti di Internet e li hanno fatti auto dichiarare come maschi o femmine. I ricercatori hanno analizzato le pubblicità presentate da Google agli utenti Internet simulati. Google ha mostrato ai maschi simulati annunci di una certa agenzia di career coaching che prometteva grandi stipendi più frequentemente che alle femmine simulate, un dato che suggerisce una discriminazione.

A causa della mancanza di trasparenza della pubblicità online, non è chiaro il motivo per il quale alle donne sono stati mostrati meno annunci per lavori ad alta retribuzione. La ricerca illustra che l'opacità del processo decisionale algoritmico può rendere più difficile scoprire la discriminazione e la sua causa. Anche i sistemi di ricerca per immagini possono avere effetti discriminatori. Nel 2016, Google Images [9] ha mostrato molte foto segnaletiche quando le persone hanno cercato "tre adolescenti di colore". Al contrario, Google Images mostrava immagini di ragazzi bianchi felici quando le persone cercavano "tre adolescenti bianchi".

Google ha risposto che il suo algoritmo di ricerca rispecchia la disponibilità e la frequenza dei contenuti online. "Ciò significa che a volte le rappresentazioni sgradevoli di argomenti sensibili online possono influenzare i risultati della ricerca di immagini per una determinata query", ha dichiarato l'azienda in una dichiarazione all'Huffington Post UK. "Questi risultati non riflettono le opinioni o le convinzioni di Google; come azienda, apprezziamo fortemente la diversità di prospettive, idee e culture". Si potrebbe effettivamente sostenere che il sistema algoritmico di Google rifletta semplicemente la società. Tuttavia, anche se la colpa è della società piuttosto che del sistema algoritmico, i risultati della ricerca di immagini potrebbero influenzare le convinzioni delle persone. Va ricordato che, sebbene le decisioni degli algoritmi possano avere effetti discriminatori, gli algoritmi non sono intrinsecamente cattivi o discriminatori e potrebbero comunque avere prestazioni migliori rispetto a quelle dei decisori umani; a volte i sistemi algoritmici discriminano perché riproducono la discriminazione degli esseri umani. Quindi, fa la differenza se si confronta il processo decisionale algoritmico con le decisioni umane nel mondo reale, che a volte sono discriminatorie, o con le decisioni ipotetiche in un mondo ideale senza discriminazioni. Il processo decisionale algoritmico può essere utilizzato anche per combattere la discriminazione, aiutando a scoprire discriminazioni esistenti che altrimenti sarebbero rimaste nascoste. Esiste un nuovo e vivace sottocampo dell'informatica, incentrato sull'equità, la responsabilità e la trasparenza nel contesto del processo decisionale algoritmico. Gli scienziati informatici studiano, ad esempio, come scoprire e prevenire la discriminazione e come inserire norme di non discriminazione nei sistemi algoritmici. Le sfide della ricerca non si limitano alle soluzioni tecnologiche relative ai potenziali pregiudizi, ma includono il tema dell'opportunità di affidare le decisioni a sistemi informatici basati su dati e codici. In particolare, vengono valutate le soluzioni tecniche rispetto ai problemi esistenti, riflettendo sui loro benefici e sui loro rischi; si affrontano questioni sulle strutture degli incentivi economici, sulla distribuzione del potere e sulla ridistribuzione del benessere, per fondare la ricerca sull'equità, la responsabilità e la trasparenza nei requisiti legali esistenti.[10]

Legge sulla non discriminazione e protezione contro la discriminazione algoritmica

La legge sulla non discriminazione e la legge sulla protezione dei dati sono i principali strumenti legali che proteggono il diritto alla non discriminazione nel contesto del processo decisionale algoritmico. Molte costituzioni e trattati sui diritti umani vietano la discriminazione. La Convenzione Europea dei diritti dell'uomo, CEDU, afferma all'articolo 14: "Il godimento dei diritti e delle libertà riconosciuti nella presente Convenzione deve essere assicurato senza distinzione di alcuna specie, come di sesso, di razza, di colore, di lingua, di religione, di opinione politica o di altro genere, di origine nazionale o sociale, di appartenenza a una minoranza nazionale, di ricchezza, di nascita o di altra condizione".[11]

La giurisprudenza dimostra che la Convenzione europea dei diritti dell'uomo vieta sia la discriminazione diretta che quella indiretta. La discriminazione diretta significa discriminare sulla base di un motivo protetto, come ad esempio l'origine etnica. La Corte europea dei diritti dell'uomo la descrive così: "Deve esistere una differenza di trattamento tra persone in situazioni analoghe, o comunque simili, basata su una caratteristica identificabile". Discriminazione indiretta significa che una pratica che sembra neutra a prima vista finisce per discriminare le persone di una certa origine etnica o di un'altra caratteristica protetta.[12] Negli Stati Uniti la discriminazione indiretta è chiamata "impatto disparato", quella diretta "trattamento disparato". La Corte europea dei diritti dell'uomo descrive la discriminazione indiretta come "Una differenza di trattamento che può assumere la forma di effetti pregiudizievoli sproporzionati di una politica o di una misura generale che, pur essendo formulata in termini neutri, discrimina un gruppo. Tale situazione può costituire una discriminazione indiretta, che non richiede necessariamente un intento discriminatorio". Il diritto dell'UE utilizza una definizione simile. Per la discriminazione indiretta non è rilevante che il presunto discriminatore intendesse discriminare: è l'effetto di una pratica che conta. Pertanto, chi discrimina non può eludere il divieto di discriminazione indiretta dimostrando che non intendeva discriminare.

La legge sulla non discriminazione presenta tuttavia diversi punti deboli se applicata alla discriminazione algoritmica. Per esempio, una vittima di discriminazione deve dimostrare che una regola, una pratica o una decisione apparentemente neutra colpisce in modo sproporzionato una classe protetta ed è quindi prima facie discriminatoria. Tuttavia, la discriminazione indiretta può rimanere nascosta sia all'organizzazione che alla vittima. Supponiamo che qualcuno richieda un prestito sul sito web di una banca. La banca utilizza un sistema algoritmico per decidere su tali richieste. Se la banca nega automaticamente un prestito a un cliente sul suo sito web, il cliente non vede il motivo per cui il prestito è stato negato. E il cliente non può vedere se il sistema algoritmico della banca nega i prestiti a una percentuale sproporzionata di una particolare categoria. Quindi, anche se i clienti sapessero che a decidere è un algoritmo e non un dipendente della banca, sarebbe difficile per loro scoprire se l'algoritmo è discriminatorio. I sistemi algoritmici sono spesso black boxes, per diversi motivi.[13] La maggioranza delle persone non ha le competenze tecniche per capire come questi sistemi arrivino alle decisioni. Anche gli esperti che hanno costruito un sistema algoritmico possono non sapere come si comporterà tale sistema quando verrà utilizzato nella pratica e alimentato con determinati dati. Un altro problema della legge sulla non discriminazione è che il concetto di discriminazione indiretta si traduce in standard piuttosto aperti, spesso difficili da applicare nella pratica e il divieto non si applica se il presunto discriminatore invoca con successo una giustificazione oggettiva. La Corte europea dei diritti dell'uomo afferma che: "Una politica o una misura generale che abbia effetti sproporzionatamente pregiudizievoli su un particolare gruppo può essere considerata discriminatoria anche se non è specificamente rivolta a quel gruppo e non c'è un intento discriminatorio".[14] Tuttavia, questo è il caso solo se tale politica o provvedimento non ha una giustificazione obiettiva e ragionevole, cioè se non persegue uno scopo legittimo o se non esiste un ragionevole rapporto di proporzionalità tra i mezzi impiegati e lo scopo che si vuole raggiungere. Pertanto, non è sempre chiaro se una determinata pratica violi il divieto di discriminazione indiretta. In sintesi, il diritto di non discriminazione vieta molti effetti discriminatori del processo decisionale algoritmico, in particolare attraverso il concetto di discriminazione indiretta. L'applicazione è tuttavia difficile e il diritto di non discriminazione presenta dei punti deboli.

La legge sulla protezione dei dati mira a difendere l'equità e i diritti umani quando le organizzazioni utilizzano i dati personali; garantisce diritti alle persone i cui dati vengono utilizzati (soggetti interessati) e impone obblighi alle organizzazioni che li utilizzano (responsabili del trattamento). Il nucleo della legge sulla protezione dei dati consta di otto principi, che possono essere così riassunti: i dati personali possono essere trattati solo in modo lecito, equo e trasparente; possono essere raccolti solo per uno scopo specificato in anticipo e devono essere utilizzati solo per scopi compatibili con la finalità originaria; le organizzazioni non devono raccogliere o utilizzare più dati del necessario; le organizzazioni devono garantire che tali dati siano sufficientemente accurati e aggiornati; le organizzazioni non devono conservare i dati per un periodo di tempo eccessivamente lungo; le organizzazioni devono garantire la sicurezza dei dati; l'organizzazione che determina le finalità e i mezzi del trattamento è responsabile della conformità. Questi principi sono alla base della Convenzione 108+ sulla protezione dei dati e del GDPR, European Union's General Data Protection Regulation i cui principi sono: liceità, correttezza e trasparenza; limitazione delle finalità; minimizzazione dei dati; accuratezza; limiti di conservazione; integrità e riservatezza; responsabilità. In Italia, la Legge 22 aprile 2021, n. 60 ha ratificato e dato esecuzione al Protocollo di emendamento alla Convenzione sulla protezione delle persone rispetto al trattamento automatizzato di dati a carattere personale, fatto a Strasburgo il 10 ottobre 2018.[15] La legge sulla protezione dei dati potrebbe essere utilizzata per attenuare l'asimmetria informativa e i rischi di discriminazione ingiusta e illegale. Per esempio, la legge sulla protezione dei dati richiede che le organizzazioni siano aperte e trasparenti sull'uso che fanno dei dati personali. Pertanto, le organizzazioni devono fornire informazioni, ad esempio in una nota sulla privacy, su tutte le fasi del processo decisionale algoritmico che coinvolge i dati personali. Anche se la maggior parte delle persone ignora gli avvisi sulla privacy, tali avvisi potrebbero essere utili a ricercatori, giornalisti e autorità di controllo per ottenere informazioni sulle pratiche di un'organizzazione.[16] In alcune situazioni, le organizzazioni sono tenute a condurre una valutazione d'impatto sulla protezione dei dati (data protection impact assessment DPIA) ai sensi del GDPR e della Convenzione 108+ sulla protezione dei dati. Una DPIA può essere descritta come un processo per analizzare, identificare e minimizzare sistematicamente i rischi per la protezione dei dati di un progetto o di un piano. Diversi studiosi evidenziano il potenziale delle DPIA per proteggere le persone dalla discriminazione algoritmica. Ai sensi del GDPR, un'organizzazione deve condurre una DPIA quando una pratica potrebbe avere un rischio elevato per i diritti e le libertà delle persone fisiche, in particolare quando si utilizzano nuove tecnologie e le organizzazioni assumono decisioni completamente automatizzate che incidono pesantemente sulle persone. Nel condurre una DPIA, le organizzazioni devono anche considerare il rischio di discriminazione ingiusta o illegale. Il Consiglio d'Europa e l'Unione Europea richiedono che ogni Stato membro abbia un'autorità indipendente per la protezione dei dati personali, con poteri di indagine. Ai sensi del GDPR, un'autorità per la protezione dei dati può, ad esempio, accedere ai locali di un'organizzazione che utilizza dati personali e ordinare alla stessa di dare accesso ai suoi computer.[17] Il GDPR e la Convenzione 108+ contengono norme specifiche per alcuni tipi di "processo decisionale individuale automatizzato", che hanno diversi obiettivi, tra cui quello di proteggere le persone contro discriminazioni ingiuste o illegali. L'articolo 22 del GDPR, talvolta chiamato "disposizione Kafka", vieta, in linea di principio, alcune decisioni completamente automatizzate con effetti giuridici o analoghi significativi e si applica, ad esempio, al credit scoring e all'e-recruiting completamente automatizzati. La norma principale recita: "L'interessato ha diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona" [18] e può essere suddivisa in quattro condizioni: (i) esiste una decisione, che si basa (ii) esclusivamente (iii) su un trattamento automatizzato dei dati; (iv) la decisione ha effetti giuridici o analogamente significativi per l'interessato. Il divieto di adottare determinate decisioni automatizzate non è assoluto; esistono infatti delle eccezioni. In breve, il divieto non si applica (i) se l'individuo ha dato il consenso alla decisione automatizzata; se la decisione è (ii) necessaria per un contratto tra l'individuo e il titolare del trattamento, se (iii) è autorizzata dalla legge. La legge sulla protezione dei dati non è tuttavia una silver bullet per proteggere le persone dalla discriminazione algoritmica. In primo luogo, vi è un deficit di conformità e di applicazione, nonostante la conformità sia migliorata con l'arrivo del GDPR. Le autorità di protezione dei dati sono sovraccariche e molte di esse non hanno il potere di imporre sanzioni serie. In secondo luogo, poiché la legge sulla protezione dei dati si applica solo ai dati personali, i processi decisionali algoritmici sono in parte al di fuori del suo campo di applicazione che non si applica ai modelli predittivi, perché non si riferiscono a persone identificabili. In terzo luogo, la legge sulla protezione dei dati utilizza molte norme aperte e astratte, piuttosto che regole chiare e concrete e ciò deriva dal fatto che le sue disposizioni si applicano in molte situazioni differenti, sia nel settore privato che in quello pubblico. Tale approccio normativo omnibus, presenta tuttavia alcuni vantaggi: per esempio, le norme aperte non devono essere adattate ogni volta che viene sviluppata una nuova tecnologia. Uno svantaggio dell'approccio omnibus della legge sulla protezione dei dati è che le norme aperte possono essere difficili da applicare nella pratica. Un quarto tema riguarda le rigide regole della legge sulle categorie speciali di dati, chiamate "dati sensibili", come i dati relativi all'origine etnica o allo stato di salute. Da ultimo, anche supponendo che le persone abbiano il diritto di ricevere spiegazioni in merito alle decisioni algoritmiche, è spesso difficile, se non impossibile, spiegare la logica alla base di una decisione, quando un sistema algoritmico arriva a tale decisione dopo aver analizzato grandi quantità di dati.[19] La regolamentazione potrebbe contribuire a rendere più trasparente il processo decisionale algoritmico, come ad esempio richiedere che i sistemi algoritmici utilizzati nel settore pubblico siano sviluppati in modo tale da consentire la verifica e la spiegazione e tali requisiti potrebbero essere presi in considerazione anche per il settore privato. Esiste un precedente di requisiti di trasparenza nel settore privato, nell'UE, un requisito legale di interpretabilità per alcuni sistemi di trading algoritmico utilizzati dalle imprese di investimento.[20]

Conclusioni

Istruzioni per risolvere un problema o completare un compito, spesso strumenti eleganti e incredibilmente utili, gli algoritmi sono per lo più ausili invisibili, che "aumentano" la vita dell'uomo in modi sempre più incredibili. Le ricette sono algoritmi, così come le equazioni matematiche; il codice del computer è algoritmico, Internet si basa su algoritmi e tutte le ricerche online vengono effettuate attraverso di essi. Le e-mail sanno "dove andare" grazie agli algoritmi e le applicazioni per smartphone non sono altro che algoritmi. I giochi per computer e i videogiochi sono narrazioni algoritmiche. I sistemi di mappatura GPS portano le persone dal punto A al punto B tramite algoritmi, l'intelligenza artificiale non è altro che algoritmi. Il materiale che le persone vedono sui social media è fornito da algoritmi e, di fatto, tutto ciò che le persone vedono e fanno sul web è un prodotto di algoritmi. Ogni volta che si ordina una colonna in un foglio di calcolo, sono in gioco degli algoritmi, e la maggior parte delle transazioni finanziarie oggi sono realizzate da algoritmi. Gli algoritmi aiutano i gadget a rispondere ai comandi vocali, a riconoscere i volti, a ordinare le foto e a costruire e guidare le automobili. L'hacking, i cyberattacchi e la violazione dei codici crittografici sfruttano gli algoritmi. Stanno emergendo algoritmi che si auto apprendono e si autoprogrammano, per cui è possibile che in futuro saranno gli algoritmi a scrivere molti, se non la maggior parte, degli algoritmi stessi. Enormi sono i vantaggi che si possono trarre dal processo decisionale algoritmico, nonostante comportino anche dei rischi. Gli scienziati informatici hanno dimostrato come i sistemi algoritmici possono discriminare, ad esempio quando riproducono la discriminazione appresa da decisioni umane discriminatorie. Gli effetti delle decisioni algoritmiche possono essere di vasta portata, nel settore pubblico ad esempio per le raccomandazioni predittive di polizia o per le sentenze, nonché per le decisioni relative alle pensioni, all'assistenza abitativa o ai sussidi di disoccupazione, tra le altre. Anche nel anche nel settore privato, le decisioni algoritmiche possono avere gravi ripercussioni sulle persone, per esempio quando sono decisioni che riguardano l'occupazione o il credito. La legge sulla non discriminazione e la legge sulla protezione dei dati sono gli strumenti giuridici più importanti per combattere la discriminazione illegale da parte dei sistemi algoritmici. Se applicati efficacemente, entrambi possono contribuire a proteggere le persone, anche se emergerà probabilmente la necessità di un'ulteriore regolamentazione per proteggere l'equità e i diritti umani nell'ambito del processo decisionale algoritmico, risultando forse non funzionale adottare regole generali, dal momento che, in settori diversi, i rischi, le norme ed i valori in gioco sono differenti.

dott.ssa Luisa Claudia Tessore

Note bibliografiche

[1] DOURISH, P. (2016) Algorithms and Their Others: Algorithmic Culture in Context, Big Data & Society 3, no. 2

[2] https://plato.stanford.edu/entries/turing-test/

[3] Russell, S.J. & and Norvig, P. (2016) Artificial Intelligence: A Modern Approach 3rd ed. Prentice Hall, 2

[4] ARAWAL, J. et al. (2017) What to Expect from Artificial Intelligence MIT Sloan Management Review

[5] ANGWIN, J. et al. (2016) Machine Bias: There's Software Used Across the Country to Predict Future Criminals. And It's Biased Against Blacks ProPublica

[6] BAROCAS, S. & SELBST, A.D. (2016) Big Data's Disparate Impact 104 Calif.. L. Rev. 671

[7] LOWRY, S. & MacPHERSON, G. (1988) A Blot on the Profession British Medical Journal 296, no. 6623: 657

[8] DATTA, A. & TSCHANTZ, M.C. (2015) Automated Experiments on Ad Privacy Settings Proceedings on Privacy Enhancing Technologies no. 1

[9] https://www.washingtonpost.com/news/morning-mix/wp/2016/06/10/google-faulted-for-racial-bias-in-image-search-results-for-black-teenagers/

[10] https://facctconference.org/

[11] https://officeadvice.it/cedu/articolo-14

[12] TOBLER, C. (2005) Indirect Discrimination: A Case Study into the Development of the Legal Concept of Indirect Discrimination Under EC Law, vol. 10 Intersentia

[13] PASQUALE, F. (2015) The Black Box Society: The Secret Algorithms that Control Money and Information Harvard University Press

[14] https://www.echr.coe.int/Documents/Guide_Art_14_Art_1_Protocol_12_ENG.pdf

[15] https://www.gazzettaufficiale.it/eli/id/2021/05/10/21G00068/sg

[16] GOODMAN, B.W. (2016) A Step Towards Accountable Algorithms? Algorithmic Discrimination and the European Union General Data Protection 29th Conference on Neural Information Processing Systems (NIPS) Barcelona

[17] KAMINSKI, M. & MALGIERI, G. (2019) Algorithmic Impact Assessments Under the GDPR: Producing Multi-layered Explanations Un. of Colorado Law Legal Studies Research Paper No. 19-28

[18] https://www.privacy-regulation.eu/en/article-22-automated-individual-decision-making-including-profiling-GDPR.htm

[19] ANANNY, M. & CRAWFORD, K. (2018) Seeing Without Knowing: Limitations of the Transparency Ideal and Its Application to Algorithmic Accountability New Media & Society 20, no. 3

[20] Articles 1 and 2, Commission Delegated Regulation (EU) 2017/589 of 19 July 2016 supplementing Directive 2014/65/EU of the European Parliament and of the Council with regard to regulatory technical standards specifying the organizational requirements of investment firms engaged in algorithmic trading

Tutte le notizie