Sblocca gratuitamente il Digest dell’editore
Il governo britannico ha dimostrato rara immaginazione e iniziativa quando ha tenuto un vertice internazionale a novembre per discutere dei rischi esistenziali posti dall’intelligenza artificiale. Tragicamente, i successivi governi britannici hanno dimostrato un vergognoso fallimento nel proteggere i propri cittadini dalle tecnologie più basilari che falliscono.
Prendi il caso di Seema Misra, incinta e direttrice di un ufficio postale secondario, che nel 2010 è stata ingiustamente incarcerata per 15 mesi il giorno del decimo compleanno di suo figlio per furto e falso in bilancio, segnalata dal difettoso sistema informatico Horizon di Fujitsu. Ci sono voluti 11 anni perché la sua condanna, così come quella di 38 colleghi, venisse annullata dalla Corte d’Appello. La sentenza ha stabilito che le “omissioni di indagine e di divulgazione da parte dell’Ufficio Postale erano così gravi” da rendere il perseguimento di questi sub-capi delle poste “un affronto alla coscienza della corte”.
Lo straziante dramma televisivo di ITV della scorsa settimana ha fatto luce su uno dei più grandi errori giudiziari della storia britannica. Ciò ha giustamente scatenato la furia pubblica e costretto il governo a una nuova azione. Ad oggi, solo 93 delle oltre 700 persone condannate per questo caso hanno visto la loro condanna ribaltata.
Tardivamente, il governo ha annunciato questa settimana che proporrà una legislazione primaria per scagionare e risarcire i condannati. Ma è solo grazie alla coraggiosa campagna degli stessi sub-postmasters nel corso di due decenni, così come al censurato resoconto sulla vicenda da parte di Computer Weekly, Private Eye e dello scrittore Nick Wallis, che ora sarà fatta giustizia.
Al centro dello scandalo c’è la spettacolare cattiva gestione di un progetto di automazione informatica, che dovrebbe servire da monito a molte altre aziende e dipartimenti governativi. Salutato all’epoca da Fujitsu come il più grande contratto IT non militare in Europa, il sistema Horizon da oltre un miliardo di sterline è stato lanciato dalle Poste nel 1999-2000 per migliorare l’efficienza e combattere le frodi. Nel 2013 Horizon è stato esteso a più di 11.500 filiali, elaborando circa 6 milioni di transazioni al giorno. Ma fin dall’inizio sono sorte lamentele per i suoi errori.
Come tutti i software, Horizon conteneva dei difetti. Con buon senso e impegno mirato, la maggior parte dei difetti dovrebbe essere regolarmente identificata e corretta. C’è un detto nell’industria del software, noto come legge di Linus, che “con abbastanza occhi, tutti i bug sono superficiali”. Ma ciò chiaramente non si applica quando le aziende che gestiscono il software sono volontariamente cieche. Sembra che i bug di Horizon siano stati deliberatamente oscurati, piuttosto che esposti.
In un lettera a una commissione parlamentare ristretta nel 2020, Paula Vennells, amministratore delegato delle Poste dal 2012 al 2019, ha affermato di essere stata costantemente assicurata da Fujitsu che il sistema Horizon era robusto e sicuro come “Fort Knox”. Ma di fronte alla lampante prova contraria da parte dei sub-responsabili delle poste, la direzione dell’ufficio postale avrebbe dovuto esercitare un controllo molto più critico. La difesa di Vennells non riesce nemmeno a spiegare perché l’ufficio postale ha perseguito i sub-capi delle poste accusati in modo così aggressivo e per così tanto tempo e ha frustrato i loro ricorsi legali.
A sua volta, il governo non è riuscito a esercitare un controllo efficace in quanto azionista delle Poste. La porta girevole di Whitehall ha assicurato che nessun ministro responsabile fosse in carica abbastanza a lungo da affrontare la questione. Ed Davey, ora leader dei Liberal Democratici, è stato uno dei 17 ministri degli affari postali ad aver ricoperto il ruolo mentre si svolgeva lo scandalo. Davey ora accusa le Poste di “complotto di menzogne”.
Ma anche quella difesa si indebolisce. COME Edoardo Enricoun avvocato che rappresenta ex-direttori delle poste, ha dichiarato l’anno scorso in un’inchiesta pubblica: “Il governo è come il proprietario di un cane pericoloso che maltratta un bambino indifeso, dicendo: ‘Mi dispiace, mi dispiace tanto, ma non ha niente a che fare con me’. “
È incoraggiante che il governo si sia finalmente assunto la responsabilità di risolvere il problema. Il ministro delle Poste del Regno Unito, Kevin Hollinrake, ha dichiarato alla BBC che quasi due terzi delle 3.500 persone colpite dallo scandalo hanno ricevuto un risarcimento completo e definitivo per un costo di 148 milioni di sterline. La priorità ora è scagionare e risarcire le restanti vittime e indagare se i manager della Fujitsu e degli stessi uffici postali abbiano infranto la legge.
Un’amara lezione da trarre da questa vicenda è: ascoltare gli esseri umani in prima linea nella tecnologia, più di quelli nel back office. Il software fallisce. La governance conta. Ciò diventerà ancora più importante man mano che i sistemi di intelligenza artificiale si intromettono sempre più. Ma con così tante vite distrutte, è difficile sostenere che i sub-capi delle poste danneggiati non abbiano affrontato i propri rischi esistenziali.