I grandi modelli linguistici possono risolvere enigmi logici? C'è un modo per scoprirlo, che è chiedere. È quello che hanno fatto di recente Fernando Perez-Cruz e Hyun Song Shin. (Perez-Cruz è un ingegnere; Shin è il responsabile della ricerca presso la Banca dei regolamenti internazionali nonché l'uomo che, nei primi anni Novanta, mi ha insegnato alcuni dei pezzi più matematici della teoria economica.)
Il puzzle in questione è comunemente noto come “il puzzle del compleanno di Cheryl”. Cheryl sfida i suoi amici Albert e Bernard a indovinare la sua data di nascita e, per motivi di puzzle, sanno che è una delle 10 date: 15, 16 o 19 maggio; 17 o 18 giugno; 14 o 16 luglio; o 14, 15 o 17 agosto. Per accelerare l'ipotesi, Cheryl dice ad Albert il suo mese di nascita e dice a Bernard il giorno del mese, ma non il mese stesso.
Albert e Bernard ci pensano un po'. Poi Albert annuncia: “Non so il tuo compleanno, e so che neanche Bernard lo sa”. Bernard risponde: “In tal caso, ora so il tuo compleanno”. Albert risponde: “Ora so anche il tuo compleanno”. Qual è il compleanno di Cheryl?* Ancora più importante, cosa impariamo chiedendo a GPT-4?
Il puzzle è impegnativo. Per risolverlo è necessario eliminare le possibilità passo dopo passo, riflettendo su domande come “cosa deve sapere Albert, dato ciò che sa e che Bernard non sa?”. È quindi estremamente impressionante che quando Perez-Cruz e Shin hanno ripetutamente chiesto a GPT-4 di risolvere il puzzle, il grande modello linguistico abbia sempre dato la risposta giusta, elaborando fluentemente spiegazioni varie e accurate della logica del problema. Eppure questa esibizione di bravura di padronanza logica non era altro che un'ingegnosa illusione. L'illusione è crollata quando Perez-Cruz e Shin hanno chiesto al computer una versione banalmente modificata del puzzle, cambiando i nomi dei personaggi e dei mesi.
GPT-4 ha continuato a produrre spiegazioni fluide e plausibili della logica, così fluide, in effetti, che ci vuole una vera concentrazione per individuare i momenti in cui quelle spiegazioni si dissolvono in assurdità. Sia il problema originale che la sua risposta sono disponibili online, quindi presumibilmente il computer aveva imparato a riformulare questo testo in modo sofisticato, dando l'impressione di un logico brillante.
Quando ho provato la stessa cosa, mantenendo la struttura formale del puzzle ma cambiando i nomi in Juliet, Bill e Ted e i mesi in gennaio, febbraio, marzo e aprile, ho ottenuto lo stesso risultato disastroso. GPT-4 e il nuovo GPT-4o hanno entrambi elaborato autorevolmente la struttura dell'argomentazione, ma sono giunti a conclusioni false in diversi passaggi, incluso quello finale. (Mi sono anche reso conto che nel mio primo tentativo avevo introdotto un errore di battitura fatale nel puzzle, rendendolo irrisolvibile. GPT-4 non ha battuto ciglio e lo ha “risolto” comunque.)
Curioso, ho provato un altro famoso puzzle. Un concorrente di un quiz show sta cercando di trovare un premio dietro una delle tre porte. Il conduttore del quiz, Monty Hall, consente una scelta provvisoria, apre un'altra porta per non rivelare alcun premio finale e poi offre al concorrente la possibilità di cambiare porta. Dovrebbero cambiare?
Il problema di Monty Hall è in realtà molto più semplice di Cheryl's Birthday, ma incredibilmente controintuitivo. Ho reso le cose più difficili per GPT4o aggiungendo alcune complicazioni. Ho introdotto una quarta porta e non ho chiesto se il concorrente dovesse cambiare (dovrebbero), ma se valesse la pena pagare $ 3.500 per cambiare se due porte erano aperte e il primo premio era di $ 10.000.**
La risposta di GPT-4 è stata notevole. Ha evitato la trappola cognitiva in questo puzzle, articolando chiaramente la logica di ogni passaggio. Poi ha armeggiato al traguardo, aggiungendo un'ipotesi senza senso e derivando la risposta sbagliata come risultato.
Cosa dovremmo pensare di tutto questo? In un certo senso, Perez-Cruz e Shin hanno semplicemente trovato una svolta al problema familiare per cui i grandi modelli linguistici a volte inseriscono finzioni credibili nelle loro risposte. Invece di plausibili errori di fatto, qui il computer ha servito plausibili errori di logica.
I sostenitori dei grandi modelli linguistici potrebbero rispondere che con un prompt progettato in modo intelligente, il computer potrebbe fare di meglio (il che è vero, anche se la parola “potrebbe” sta facendo un sacco di lavoro). È anche quasi certo che i modelli futuri faranno di meglio. Ma come sostengono Perez-Cruz e Shin, questo potrebbe essere un altro discorso. Un computer che è capace di sembrare così giusto ma di essere così sbagliato è uno strumento rischioso da usare. È come se ci affidassimo a un foglio di calcolo per la nostra analisi (già abbastanza rischioso) e il foglio di calcolo occasionalmente e sporadicamente dimenticasse come funziona la moltiplicazione.
Non è la prima volta che apprendiamo che i grandi modelli linguistici possono essere fenomenali motori di stronzate. La difficoltà qui è che le stronzate sono così terribilmente plausibili. Abbiamo già visto falsità e errori prima, e Dio sa che abbiamo visto bluffatori fluenti. Ma questo? Questa è una novità.
*Se a Bernard fosse stato detto il 18 (o il 19), avrebbe saputo che il compleanno era il 18 giugno (o che era il 19 maggio). Quindi, quando Albert dice di sapere che Bernard non conosce la risposta, ciò esclude queste possibilità: ad Albert deve essere stato detto luglio o agosto invece di maggio o giugno. La risposta di Bernard che ora conosce la risposta con certezza rivela che non può essere il 14 (il che lo avrebbe lasciato a indovinare tra luglio o agosto). Le date rimanenti sono il 15 o il 17 agosto, o il 16 luglio. Albert sa quale mese, e l'affermazione che ora conosce la risposta rivela che il mese deve essere luglio e che il compleanno di Cheryl è il 16 luglio.
**La probabilità di scegliere inizialmente la porta corretta è del 25 percento, e non cambia quando Monty Hall apre due porte vuote. Pertanto, la probabilità di vincere $ 10.000 è del 75 percento se si passa alla porta rimanente e del 25 percento se si rimane con la scelta iniziale. Per un sufficientemente avveduto che si assume rischi, vale la pena pagare fino a $ 5.000 per cambiare.