Algoritmi poco accurati
Negli Stati Uniti i computer aiutano a decidere chi entra ed esce dalla prigione calcolando il rischio che l’imputato possa di nuovo commettere un crimine. Ma i loro calcoli non sono così precisi
TECNOLOGIA – Affidereste le sentenze che riguardano l’imputato di un crimine a persone poco esperte di giustizia? Forse no. Ma due ricercatori del Dartmouth College, nel New Hampshire, hanno dimostrato che è più o meno quello che succede in molti tribunali statunitensi, dove alcune sentenze tengono conto delle previsioni calcolate da un software che ha la stessa accuratezza di chi si intende poco di giustizia penale.
Julia Dressel e Hany Farid hanno valutato le previsioni dell’algoritmo alla base di questo software (venduto come COMPAS, Correctional Offender Management Profiling for Alternative Sanctions) e le hanno confrontate con quelle di un gruppo di persone senza esperienza nel campo della giustizia criminale. I risultati delle loro analisi sono a dir poco sorprendenti. Nel complesso i non esperti hanno previsto correttamente il rischio di recidiva in quasi sette casi su dieci (67%), rivelandosi comunque (poco) più precisi dell’algoritmo predittivo (65.2%). Anche se oggi big data e sistemi di apprendimento automatico (come l’algoritmo di COMPAS) sono diffusi in numerosi ambiti, dalla finanza al marketing alla ricerca medica, l’esperimento di Dressel e Farid getta qualche ombra sull’attendibilità delle sentenze che derivano da queste previsioni, ottenute con l’impiego di software che, in fin dei conti, si rivelano tanto accurati quanto persone impreparate a prendere decisioni che influenzano significativamente l’esito di un processo.
Per arrivare alle conclusioni illustrate nell’articolo su Science Advances, i ricercatori del Dipartimento di informatica del Dartmouth College hanno caricato sulla piattaforma di crowdsourcing di Amazon un test di previsione del crimine (“Predicting Crime”), a cui hanno partecipato più di quattrocento persone (che, come si può verosimilmente immaginare, avevano poca esperienza in ambito giudiziario). Ognuno dei partecipanti doveva prevedere il rischio di recidiva di cinquanta imputati, partendo da informazioni come età, sesso e precedenti penali, contenute nella banca dati di una contea della Florida. Usando come riscontro i registri della banca dati, Dressel e Farid hanno ottenuto la percentuale di accuratezza delle “sentenze” dei partecipanti.
I due ricercatori hanno anche cercato di indovinare il funzionamento dell’algoritmo alla base di COMPAS (che l’azienda produttrice non ha voluto rendere noto per ovvi motivi commerciali), assegnando all’algoritmo prima le stesse informazioni a disposizione dei partecipanti, poi solo l’età e il numero di precedenti penali. Dopo aver notato che l’indice di accuratezza era lo stesso in entrambe le condizioni, i ricercatori hanno concluso che l’algoritmo potrebbe operare attraverso un classificatore lineare (nei sistemi di apprendimento automatico un classificatore è una funzione matematica che descrive il processo di elaborazione dei dati in entrata, in questo caso le informazioni sull’imputato).
Come spiega a OggiScienza Luca Franceschi, dottorando del gruppo di ricerca Computational statistics and machine learning dell’Istituto Italiano di Tecnologia, “fra i dati in entrata e le previsioni in uscita di un algoritmo predittivo ci possono essere varie tecniche di apprendimento automatico”. Nello specifico “un modello di apprendimento basato su un classificatore lineare spiega bene un sistema semplice, ma se le dinamiche diventano più complesse è meglio utilizzare altri metodi, come una macchina a vettore di supporto non lineare”. Inoltre, ogni metodo di apprendimento ha un bias induttivo, cioè un’ipotesi di partenza che permette al modello di generalizzare a partire dai dati usati dai ricercatori per “allenare” l’algoritmo e che incide sul livello di accuratezza delle previsioni in uscita. Nonostante COMPAS preveda il rischio di recidiva di un imputato dopo aver analizzato centotrentasette informazioni, Dressel e Farid hanno dimostrato che per ottenere lo stesso livello di accuratezza ne bastano due, e che probabilmente sono elaborate da una funzione matematica con un forte bias induttivo.
Leggi anche: Un algoritmo per accogliere i rifugiati
Pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia. 
