Puoi eseguire i nuovi modelli GPT di OpenAI direttamente sul PC

Come forse avete notato, OpenAI ha appena rilasciato due nuovi modelli di intelligenza artificiale – gpt‑oss‑20b e gpt‑oss‑120b – che rappresentano i primi modelli open-weight della compagnia dai tempi di GPT‑2.

Questi due modelli – uno più compatto, l’altro decisamente più grande – si distinguono per un aspetto fondamentale: possono essere eseguiti in locale. Funzionano direttamente su PC desktop o laptop, cioè sul dispositivo stesso, senza bisogno di connessione a Internet o del supporto del cloud, a patto che il vostro hardware sia abbastanza potente.

Potete quindi scaricare la versione da 20b – oppure, se avete una macchina davvero performante, quella da 120b – e sperimentare in autonomia: verificare come si comporta (nel classico stile text-to-text) e osservare come ragiona il modello (con tutto il processo suddiviso in passaggi). È anche possibile modificare e costruire su questi modelli aperti, anche se restano attivi i sistemi di sicurezza e i filtri sui contenuti.

Ma di che tipo di hardware avete bisogno per farli girare? In questo articolo analizziamo i requisiti di sistema per entrambe le versioni: gpt‑oss‑20b, il modello “contenuto” da 21 miliardi di parametri, e gpt‑oss-120b, che ne conta 117 miliardi. Quest’ultimo è pensato per i data center, ma può essere eseguito anche su un PC di fascia molto alta, mentre gpt‑oss‑20b è stato progettato appositamente per i dispositivi consumer.

Quando ha presentato questi nuovi modelli, Sam Altman ha dichiarato che la versione 20b sarebbe in grado di funzionare non solo su laptop standard, ma anche su smartphone – anche se, va detto, si tratta di un’affermazione piuttosto ambiziosa, su cui torneremo più avanti.

Potete scaricare i modelli da Hugging Face (qui trovate gpt‑oss‑20b e qui gpt‑oss‑120b) sotto licenza Apache 2.0. E se siete solo curiosi, è disponibile anche una demo online che non richiede alcun download.

RAM minima richiesta: 16GB
La documentazione ufficiale di OpenAI indica chiaramente la quantità di RAM necessaria per eseguire questi modelli di intelligenza artificiale, e nel caso del più compatto gpt-oss-20b si parla di 16GB.

Questo significa che puoi eseguire gpt-oss-20b su qualsiasi PC o laptop dotato di 16GB di memoria di sistema (oppure 16GB di VRAM, o una combinazione delle due). Tuttavia, più memoria hai a disposizione, meglio è - o meglio, più veloce sarà l'esecuzione. Con il minimo sindacale di 16GB il modello potrebbe arrancare un po’, quindi l’ideale sarebbe avere qualcosa in più.

Per quanto riguarda i processori, AMD consiglia l’uso di una CPU Ryzen AI serie 300, abbinata a 32GB di RAM (con metà, ovvero 16GB, allocati come memoria grafica variabile). Per la GPU, la raccomandazione è un qualsiasi modello della serie RX 7000 o RX 9000 con 16GB di memoria – ma si tratta di suggerimenti, non di requisiti rigidi.

Il vero punto chiave è disporre di memoria sufficiente – i già citati 16GB – e idealmente che tutta quella quantità sia sulla GPU. In questo modo, tutto il lavoro viene gestito direttamente dalla scheda grafica, evitando rallentamenti dovuti al passaggio dei dati alla memoria di sistema. Detto ciò, la particolare architettura MoE (Mixture of Experts) adottata da OpenAI aiuta a ridurre al minimo questi colli di bottiglia, per fortuna.

A titolo di esempio, secondo quanto riportato su Reddit, gpt-oss-20b funziona senza problemi anche su un MacBook Pro M3 con 18GB di RAM.

RAM richiesta: 80GB
Il discorso è simile anche per il più potente gpt-oss-120b, con la differenza - prevedibile - che serve molta più memoria. Ufficialmente, il requisito indicato è di 80GB di RAM, anche se non è necessario che tutta questa memoria risieda sulla scheda grafica. Detto ciò, questo modello di AI così esteso è stato concepito principalmente per essere utilizzato nei data center, su GPU dotate di 80GB di memoria dedicata.

Tuttavia, è possibile suddividere l’allocazione della memoria. Ad esempio, è possibile eseguire gpt-oss-120b su un computer con 64GB di RAM di sistema e una scheda video con 24GB di VRAM (come una Nvidia RTX 3090 Ti, secondo quanto riportato da un utente su Reddit), per un totale combinato di 88GB di memoria disponibile.

Per quanto riguarda le CPU, AMD in questo caso consiglia il suo processore di punta Ryzen AI Max+ 395, abbinato a 128GB di RAM di sistema, con 96GB assegnati come memoria grafica variabile.

In altre parole, per far girare gpt-oss-120b serve un desktop o laptop workstation di fascia altissima (magari con più GPU). Detto ciò, secondo alcune testimonianze non ufficiali, è possibile cavarsela anche con meno degli 80GB dichiarati – ma meglio non farci troppo affidamento.

Se il vostro sistema rispetta i requisiti descritti sopra, puoi eseguire uno dei nuovi modelli gpt-oss utilizzando Ollama, la piattaforma consigliata da OpenAI per l'utilizzo di questi modelli.

Potete scaricare Ollama per PC Windows, Mac o Linux da questo sito: clicca sul pulsante per avviare il download dell’eseguibile, quindi, una volta completato, fai doppio clic sul file e seleziona Installa.

A questo punto, aprite Ollama ed esegui i seguenti due comandi per scaricare ed eseguire il modello desiderato. Nell’esempio qui sotto si fa riferimento a gpt-oss-20b, ma se vuoi usare il modello più grande, ti basta sostituire 20b con 120b.

ollama pull gpt-oss:20b

ollama run gpt-oss:20b

Se preferite un’alternativa a Ollama, potete usare LM Studio, eseguendo il seguente comando. Anche in questo caso, puoi sostituire 20b con 120b, o viceversa, a seconda delle tue esigenze:

lms get openai/gpt-oss-20b

Gli utenti di Windows 11 (o 10) possono anche optare per Windows AI Foundry (segnalato da The Verge).

In questo caso è necessario installare Foundry Local – con la precisazione che si tratta ancora di una versione in anteprima. Per tutti i passaggi da seguire, è possibile consultare una guida dedicata. Va inoltre tenuto presente che, al momento, è richiesta una scheda video Nvidia con 16GB di VRAM. Altri modelli di GPU, come le AMD Radeon, saranno supportati in futuro – ma, appunto, per ora siamo ancora in fase di anteprima.

Il supporto a macOS, infine, è previsto "a breve".

Come accennato all’inizio, anche se Sam Altman ha affermato che il modello AI più piccolo può funzionare su uno smartphone, si tratta di una dichiarazione un po’ forzata.

È vero che Qualcomm ha pubblicato un comunicato stampa (segnalato da Android Authority) in cui si parla dell’esecuzione di gpt-oss-20b su dispositivi con chip Snapdragon, ma il riferimento è più che altro a laptop - in particolare i Copilot+ PC con chip Snapdragon X - piuttosto che ai processori degli smartphone.

Far girare gpt-oss-20b su un telefono, oggi, non è una soluzione realistica, anche se tecnicamente possibile (a patto che il vostro smartphone abbia almeno 16GB di RAM). Detto ciò, è difficile aspettarsi risultati davvero soddisfacenti in termini di prestazioni.

Tuttavia, non siamo lontani dal momento in cui modelli di questo tipo potranno funzionare davvero bene anche su dispositivi mobili, e con ogni probabilità sarà una possibilità concreta nel prossimo futuro.