Rimani informato con aggiornamenti gratuiti
Cosa significa che la decisione di una macchina sia “giusta”? Finora, il dibattito pubblico si è concentrato principalmente sulla questione della distorsione e della discriminazione. Ciò è comprensibile: la maggior parte delle persone si aspetterebbe che le macchine siano meno distorte degli umani (anzi, questo è spesso dato come logica per usarle in processi come il reclutamento), quindi è giusto prestare attenzione alle prove che possono essere distorte, pure.
Ma la parola “equo” ha molte interpretazioni e “imparziale” è solo una di queste. Di recente mi sono ritrovato alla fine di una decisione automatizzata che mi ha fatto pensare a cosa significhi davvero sentire che sei stato trattato in modo giusta e quanto potrebbe essere difficile trattenere quei principi in un mondo sempre più automatizzato.
Ho un account Gmail personale che utilizzo per la corrispondenza su un progetto di libro su cui sto lavorando. Mi sono svegliato una mattina di novembre per scoprire che non potevo più accedervi. Un messaggio di Google ha affermato che il mio accesso era stato “limitato a livello globale” perché “sembra che Gmail sia stato usato per inviare contenuti indesiderati. Lo spamming è una violazione delle politiche di Google. ” La nota afferma che la decisione era stata presa mediante “elaborazione automatica” e che se pensassi fosse un errore, avrei potuto presentare un ricorso.
Non avevo inviato alcun spam e non potevo immaginare perché l'algoritmo di Google pensasse di avere. Ciò ha reso difficile sapere cosa scrivere nella casella di testo “Appeal”, oltre a una versione in preda al panico di qualcosa del genere, “Non l'ho fatto (qualunque cosa sia)!” E “per favore aiutatemi, ho davvero bisogno di accedere alla mia e -mail e ai miei file”. (Con mio sollievo, mi sono reso conto in seguito che non avevo perso l'accesso al mio viaggio.)
Due giorni dopo, ho pensato: “Dopo aver esaminato il tuo appello, l'accesso del tuo account rimane limitato per questo servizio”. Non mi sono state fornite ulteriori informazioni su ciò che avevo presumibilmente fatto o perché l'appello era stato respinto, ma mi è stato detto che “se non sei d'accordo con questa decisione, puoi presentare un altro ricorso”. Ho provato di nuovo e sono stato respinto di nuovo. L'ho fatto ancora un paio di volte: curioso, a questo punto, per quanto tempo potrebbe continuare questo loop Doom. Uno sguardo a Reddit suggerito Altre persone avevano attraversato cose simili. Alla fine, ho rinunciato. (Google ha rifiutato di commentare il record.)
Tra i regolatori, una risposta popolare alla domanda su come prendere decisioni automatizzate più “giuste” è quella di insistere sul fatto che le persone possano richiedere un umano da rivedere loro. Ma quanto è efficace questo rimedio? Per prima cosa, gli umani sono soggetti a “compiacenza dell'automazione” – una tendenza a fidarsi troppo della macchina. Nel caso dello scandalo dell'ufficio postale del Regno Unito, ad esempio, in cui i sottosmaster sono stati erroneamente accusati di furto a causa di un sistema informatico difettoso chiamato Horizon, un giudice nel 2019 ha concluso che le persone presso l'ufficio postale visualizzato “Un semplice ostinazione istituzionale o rifiuto di considerare eventuali alternative possibili alla loro visione dell'orizzonte”.
Ben Green, un esperto di equità algoritmica presso l'Università del Michigan, afferma che possono esserci anche problemi pratici in alcune organizzazioni. “Spesso i sorveglianti umani hanno un programma limitato: hanno molti casi da rivedere”, mi ha detto. “Molti dei casi che ho visto sono casi in cui la decisione si basa su una sorta di previsione statistica”, ha detto, ma “le persone non sono molto brave a fare quelle previsioni, quindi perché dovrebbero essere brave a valutarle ? “
Una volta che la mia impotente rabbia per la mia e -mail era sobbollire, ho scoperto che avevo una certa quantità di simpatia con Google. Con così tanti clienti, un sistema automatizzato è l'unico modo pratico per rilevare le violazioni delle sue politiche. E mentre sembrava profondamente ingiusto dover chiedere il mio caso senza sapere cosa aveva scatenato il sistema, né alcuna spiegazione delle insidie da evitare in un appello, potrei anche vedere che più dettagliate Google offriva sul modo in cui il sistema funzionava, più facile Sarebbe per i cattivi attori aggirarlo.
Ma questo è il punto. Nei sistemi sempre più automatizzati, l'obiettivo della giustizia procedurale – che le persone ritengono che il processo sia stato giusto per loro – spesso entra in conflitto con altri obiettivi, come la necessità di efficienza, privacy o sicurezza. Non esiste un modo semplice per far sparire quei compromessi.
Per quanto riguarda il mio account di posta elettronica, quando ho deciso di scrivere della mia esperienza per questa colonna, ho inviato un'email dell'ufficio stampa di Google con i dettagli per vedere se potevo discutere il problema. Entro la fine della giornata, il mio accesso al mio account e -mail era stato ripristinato. Sono stato contento, ovviamente, ma non credo che molte persone lo vedrebbero particolarmente equo.