DeepSeek ottimizza l'IA con DualPipe: una DPU virtuale integrata nella GPU
DeepSeek ha implementato DualPipe, un’innovativa tecnica di parallelismo su GPU Nvidia, ottimizzando il trasferimento dati e riducendo la latenza per un'efficienza senza precedenti nell'addestramento dell'IA.

Il chatbot cinese DeepSeek ha sorpreso il settore tecnologico, emergendo come un'alternativa competitiva a ChatGPT di OpenAI, ma con costi decisamente più contenuti.
Un recente studio ha svelato che DeepSeek V3 è stato addestrato utilizzando un cluster composto da 2.048 GPU Nvidia H800, una versione meno potente della H100. È interessante immaginare quale sarebbe stato il livello di prestazioni raggiunto se fossero stati impiegati acceleratori AMD Instinct. Il processo di preaddestramento ha richiesto circa 2,79 milioni di ore di elaborazione su GPU, affinando il modello su 14,8 trilioni di token. Secondo i calcoli riportati da The Next Platform, il costo complessivo dell'operazione si aggirerebbe intorno ai 5,58 milioni di dollari.
Ciò che rende il risultato ancora più sorprendente è la strategia adottata dagli sviluppatori, che sembrano aver ottimizzato il processo con tecniche particolarmente efficienti, riducendo sensibilmente i costi rispetto a operazioni simili condotte da altri competitor.
Una DPU virtuale sulla GPU stessa
Per comprendere meglio le basi di DeepSeek, è utile esaminare la sua architettura. Si tratta di un modello Mixture-of-Experts (MoE), una tecnica avanzata che migliora l'efficienza attivando selettivamente solo le sezioni più rilevanti della rete per ciascun compito. La sua terza versione, DeepSeek-V3, possiede complessivamente 671 miliardi di parametri, ma per la generazione di un singolo token ne vengono utilizzati soltanto 37 miliardi. Questa strategia consente di ridurre drasticamente il consumo computazionale, mantenendo prestazioni elevate e un'accuratezza notevole.
È comprensibile essere scettici riguardo alle dichiarazioni fatte sull'addestramento di DeepSeek, ma il documento tecnico fornisce dettagli interessanti sulle tecniche adottate per massimizzare le capacità del sistema, nonostante le limitazioni hardware. Tra queste, spicca lo sviluppo dell'algoritmo DualPipe, che consente un parallelismo della pipeline più efficiente.
DualPipe permette di sovrapporre i calcoli in avanti e indietro, riducendo la latenza e ottimizzando il flusso di dati tra le GPU. Questa soluzione riduce al minimo i tempi morti nelle pipeline e bilancia dinamicamente i core di calcolo delle GPU (Streaming Multiprocessors), evitando colli di bottiglia nella trasmissione dei dati man mano che il modello scala.
Secondo un commentatore di The Next Platform, DualPipe può essere visto come una sorta di "DPU virtuale" all'interno della GPU stessa, progettata per ottimizzare il trasferimento delle informazioni tra i vari nodi del sistema.
Sei un professionista? Iscriviti alla nostra Newsletter
Iscriviti alla newsletter di Techradar Pro per ricevere tutte le ultime notizie, opinioni, editoriali e guide per il successo della tua impresa!
Il documento spiega nel dettaglio come questa tecnologia sia stata integrata: per garantire le migliori prestazioni, gli sviluppatori hanno personalizzato kernel di comunicazione ottimizzati per lo scambio di dati tra nodi, mantenendo un equilibrio tra capacità di calcolo e trasferimento. Inoltre, la struttura della rete sfrutta NVLink per la comunicazione intra-nodo, mentre le connessioni tra i diversi nodi GPU avvengono attraverso un'interconnessione IB completamente interconnessa. Questa combinazione di soluzioni avanzate ha permesso a DeepSeek di ottenere prestazioni straordinarie con un'infrastruttura relativamente contenuta.
Nato nel 1995 e cresciuto da due genitori nerd, non poteva che essere orientato fin dalla tenera età verso un mondo fatto di videogiochi e nuove tecnologie. Fin da piccolo ha sempre esplorato computer e gadget di ogni tipo, facendo crescere insieme a lui le sue passioni. Dopo aver completato gli studi, ha lavorato con diverse realtà editoriali, cercando sempre di trasmettere qualcosa in più oltre alla semplice informazione. Amante del cioccolato fondente, continua a esplorare nuove frontiere digitali, mantenendo sempre viva la sua curiosità e la sua dedizione al settore.