L’impiego di sistemi di intelligenza artificiale per l’adozione di decisioni che incidono sulla sfera giuridica delle persone può generare problemi di particolare gravità quando tali sistemi producono effetti discriminatori.
Si verifica discriminazione algoritmica quando un sistema automatizzato assume decisioni sfavorevoli nei confronti di determinati soggetti in ragione di caratteristiche tutelate dall’ordinamento quali: l’origine etnica, il genere, l’orientamento sessuale o le convinzioni religiose.

I sistemi di intelligenza artificiale basati su algoritmi di apprendimento automatico possono incorporare pregiudizi discriminatori, poichè presenti nei dati impiegati per il loro addestramento.

Un episodio significativo ha riguardato un sistema di intelligenza artificiale che ha utilizzato per la selezione dei curricula nel processo di reclutamento del personale. Il sistema era stato addestrato su dati relativi alle assunzioni effettuate negli anni precedenti caratterizzate da una netta prevalenza di candidati di sesso maschile. L’algoritmo aveva, quindi, appreso che il genere maschile costituiva caratteristica associata a candidature di successo penalizzando sistematicamente le candidate donne.

L’ordinamento italiano offre diverse forme di tutela contro la discriminazione algoritmica.
Sul piano del diritto antidiscriminatorio si evidenzia il D.Lgs. n. 215/2013, emanato in attuazione della direttiva 2000/43/CE, il quale vieta qualsiasi discriminazione diretta o indiretta fondata sulla razza o l’origine etnica. Analogamente, il D.Lgs. n. 198/2006 – meglio conosciuto come Codice delle pari opportunità – vieta le discriminazioni fondate sul sesso.
Dette discipline trovano applicazione anche quando la discriminazione è generata da sistemi automatizzati.
Infatti, la circostanza che la decisione discriminatoria sia stata assunta da un algoritmo anziché da un essere umano non costituisce elemento idoneo a escludere la responsabilità del soggetto che ha scelto di utilizzare tale sistema. Anche la giurisprudenza ha chiarito che integra discriminazione il comportamento apparentemente neutro con effetti pregiudizievoli nei confronti di determinate categorie di persone.

Il GDPR [Regolamento generale sulla protezione dei dati personali] ha introdotto specifiche tutele contro le decisioni interamente automatizzate.
L’art. 22 stabilisce che l’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona. Tuttavia, può trovare deroga allorquando la decisione automatizzata risulti necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e il titolare del trattamento ovvero quando è autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento oppure quando si basa sul consenso esplicito dell’interessato; qualora ricorre una delle predette condizioni, comunque il titolare del trattamento deve implementare misure appropriate per tutelare i diritti e le libertà dell’interessato che includono almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento di esprimere la propria opinione e di contestare la decisione.
Ancora.
Il considerando 71 del GDPR precisa che le decisioni automatizzate non dovrebbero riguardare categorie particolari di dati personali a meno che non siano in vigore misure appropriate a tutela dei diritti e delle libertà dell’interessato. Tra le categorie particolari figurano i dati che rivelano l’origine razziale o etnica, le opinioni politiche, le convinzioni religiose o filosofiche, l’appartenenza sindacale, i dati genetici e biometrici.

Sul piano della responsabilità civile, il soggetto che utilizza sistemi di intelligenza artificiale discriminatori può essere chiamato a rispondere del danno cagionato alle persone discriminate.
La disciplina della responsabilità per fatto illecito prevista dall’articolo 2043 c.c. si applica anche ai danni prodotti mediante l’utilizzo di sistemi automatizzati.
Il danneggiato dovrà provare il fatto illecito, il danno e il nesso causale.
Quanto al fatto illecito, costituirà elemento sufficiente la dimostrazione che il sistema ha assunto una decisione sfavorevole in presenza di caratteristiche protette, mentre non sarà invece necessario provare l’intenzionalità della condotta discriminatoria essendo sufficiente la mera verificazione dell’effetto discriminatorio.

Profilo particolarmente problematico riguarda – invece – la prova del nesso causale tra la caratteristica protetta e la decisione sfavorevole, poichè i sistemi di intelligenza artificiale operano mediante processi decisionali opachi che non consentono di ricostruire agevolmente le ragioni della decisione assunta; il danneggiato potrebbe trovarsi nell’impossibilità di dimostrare che la decisione è stata influenzata dalla caratteristica protetta.
La giurisprudenza in materia ha elaborato meccanismi di alleggerimento dell’onere probatorio a favore della parte che assume di aver subito discriminazione; spetterà alla controparte l’onere di provare l’insussistenza della discriminazione.
Si evidenzia che potrebbero costituire elementi idonei a fondare la presunzione l’esistenza di disparità statisticamente significative nei tassi di accettazione o rifiuto tra gruppi caratterizzati da diverse caratteristiche protette, oppure la documentazione tecnica che evidenzi l’utilizzo di variabili correlate con caratteristiche protette.
In tali circostanze, il titolare del sistema dovrà quindi fornire elementi idonei a dimostrare che la decisione è stata assunta sulla base di criteri oggettivi e giustificati, non correlati con caratteristiche protette.

Infine, quanto ai criteri di trasparenza imposti ai titolari del trattamento dal Regolamento che utilizzano sistemi di decisione automatizzata, l’art. 13 prevede che questi il debba fornire all’interessato informazioni significative sulla logica utilizzata nonché sull’importanza e sulle conseguenze previste di tale trattamento per l’interessato.
Tale obbligo di trasparenza assume particolare rilievo per consentire all’interessato di comprendere se la decisione possa essere stata influenzata da elementi discriminatori e di valutare l’opportunità di esercitare i propri diritti. La giurisprudenza del Garante per la protezione dei dati personali ha chiarito che le informazioni fornite devono essere comprensibili e accessibili, evitando formulazioni generiche o eccessivamente tecniche.

Da ultimo, sul piano dei rimedi, l’interessato che ritenga di aver subito una decisione discriminatoria può rivolgersi all’Autorità Garante per la protezione dei dati personali, che dispone di poteri di accertamento e sanzionatori. L’Autorità può ordinare al titolare del trattamento di fornire informazioni specifiche sul funzionamento del sistema, di interrompere il trattamento illecito e di adottare misure correttive.
L’interessato può, inoltre, agire in sede giudiziale per ottenere il risarcimento del danno subito.