Sblocca gratuitamente il Digest dell'editore
La “legge” computazionale che ha reso Nvidia l'azienda di maggior valore al mondo sta iniziando a crollare. Questa non è la famosa Legge di Moore, la massima dell'industria dei semiconduttori secondo cui le prestazioni dei chip aumenteranno raddoppiando la densità dei transistor ogni due anni.
Per molti nella Silicon Valley, la Legge di Moore è stata sostituita come predittore dominante del progresso tecnologico da un nuovo concetto: la “legge di scala” dell'intelligenza artificiale. Ciò presuppone che l’inserimento di più dati in un modello di intelligenza artificiale più grande – che a sua volta richiede più potenza di calcolo – fornisce sistemi più intelligenti. Questa intuizione ha dato un impulso al progresso dell'intelligenza artificiale, trasformando il focus dello sviluppo dalla risoluzione di difficili problemi scientifici alla sfida ingegneristica più semplice di costruire cluster di chip sempre più grandi, solitamente quelli di Nvidia.
La legge sullo scaling ha avuto il suo momento culminante con il lancio di ChatGPT. Il ritmo vertiginoso di miglioramento dei sistemi di intelligenza artificiale nei due anni successivi sembrava suggerire che la regola potrebbe valere fino a quando non raggiungeremo una sorta di “super intelligenza”, forse entro questo decennio. Nell'ultimo mese, tuttavia, si sono rafforzate le voci del settore secondo cui gli ultimi modelli di aziende come OpenAI, Google e Anthropic non hanno mostrato i miglioramenti attesi in linea con le proiezioni della legge di ridimensionamento.
“Gli anni 2010 erano l'era della scalabilità, ora siamo tornati ancora una volta nell'era delle meraviglie e delle scoperte”, il co-fondatore di OpenAI Ilya Sutskever detto Reuters di recente. Questo è l'uomo che un anno fa lo disse Pensiero era “molto probabile che l’intera superficie della terra sarà ricoperta di pannelli solari e data center” per alimentare l’intelligenza artificiale.
Fino a poco tempo fa, la legge di dimensionamento veniva applicata alla “pre-formazione”: il passo fondamentale nella costruzione di un grande modello di intelligenza artificiale. Ora, i dirigenti, i ricercatori e gli investitori dell’IA stanno ammettendo che le capacità del modello di intelligenza artificiale – come ha affermato Marc Andreessen nel suo podcast – stanno “raggiungendo il massimo” solo con la pre-formazione, il che significa che sarà necessario più lavoro dopo che il modello sarà costruito per mantenere i progressi. in arrivo.
Alcuni dei primi sostenitori della legge di ridimensionamento, come il capo di Microsoft Satya Nadella, hanno tentato di riformulare la sua definizione. Non importa se la pre-formazione produce rendimenti sempre più ridotti, sostengono i difensori, perché ora i modelli possono “ragionare” quando viene posta una domanda complessa. “Stiamo assistendo all'emergere di una nuova legge di dimensionamento”, ha affermato recentemente Nadella, riferendosi al nuovo modello o1 di OpenAI. Ma questo tipo di evasione dovrebbe innervosire gli investitori di Nvidia.
Naturalmente, la “legge” della scalabilità non è mai stata una regola ferrea, così come non esisteva alcun fattore intrinseco che consentisse agli ingegneri di Intel di continuare ad aumentare la densità dei transistor in linea con la legge di Moore. Piuttosto, questi concetti servono come principi organizzativi per il settore, guidando la concorrenza.
Ciononostante, l’ipotesi della legge di scalabilità ha alimentato la “paura di perdere qualcosa” nella prossima grande transizione tecnologica, portando a investimenti senza precedenti da parte delle Big Tech sull’intelligenza artificiale. Secondo Morgan Stanley, le spese in conto capitale di Microsoft, Meta, Amazon e Google supereranno i 200 miliardi di dollari quest’anno e raggiungeranno i 300 miliardi l’anno prossimo. Nessuno vuole essere l’ultimo a costruire una super intelligenza.
Ma se più grande non significa più migliore nell’intelligenza artificiale, questi piani verranno ridotti? Nvidia soffrirà più della maggior parte se lo saranno. Quando il produttore di chip ha riportato i suoi utili la scorsa settimana, la prima domanda degli analisti riguardava le leggi di ridimensionamento. Jensen Huang, amministratore delegato di Nvidia, ha insistito sul fatto che il ridimensionamento pre-allenamento fosse “intatto”, ma ha ammesso che “non è sufficiente” da solo. La buona notizia per Nvidia, ha affermato Huang, è che la soluzione richiederà ancora più chip: il cosiddetto “test time scaling”, poiché i sistemi di intelligenza artificiale come o1 di OpenAI devono “pensare” più a lungo per fornire risposte più intelligenti.
Questo potrebbe essere vero. Sebbene finora la formazione abbia assorbito la maggior parte dei chip di Nvidia, si prevede che la domanda di potenza di calcolo per l'”inferenza” – o il modo in cui i modelli rispondono a ogni singola query – crescerà rapidamente con l'emergere di più applicazioni IA.
Le persone coinvolte nella costruzione di questa infrastruttura di intelligenza artificiale credono che l’industria riuscirà a recuperare il ritardo sull’inferenza per almeno un altro anno. “In questo momento, questo è un mercato che avrà bisogno di più chip, non di meno”, mi ha detto il presidente di Microsoft Brad Smith.
Ma a lungo termine, la ricerca di chip per alimentare modelli sempre più grandi prima che vengano lanciati sul mercato è stata sostituita da qualcosa che è più strettamente legato all’utilizzo dell’intelligenza artificiale. La maggior parte delle aziende è ancora alla ricerca della killer app dell'intelligenza artificiale, soprattutto in aree che richiederebbero le nascenti capacità di “ragionamento” di o1. Nvidia è diventata l'azienda di maggior valore al mondo durante la fase speculativa dello sviluppo dell'intelligenza artificiale. Il dibattito sulla legge di ridimensionamento sottolinea quanto il suo futuro dipenda dal fatto che le Big Tech ottengano rendimenti tangibili da questi enormi investimenti.