Di recente abbiamo avuto un assaggio di GPU per l'intelligenza artificiale del valore di 1 miliardo di dollari quando Elon Musk ha condiviso un breve video tour di Cortex, il supercomputer per l'addestramento all'intelligenza artificiale di X attualmente in costruzione presso lo stabilimento Tesla di Giga in Texas.
Più di recente, Musk ha utilizzato i suoi social per annunciare che Colossus, un nuovo cluster di addestramento da 100k H100, è ora attivo e funzionante.
Musk sostiene che Colossus è "il sistema di addestramento AI più potente al mondo" e che è stato costruito "dall'inizio alla fine" in soli 122 giorni. È un bel risultato. I server per il cluster xAI sono stati forniti da Dell e Supermicro, mentre il costo del progetto è stato stimato tra i 3 e i 4 miliardi di dollari.
This weekend, the @xAI team brought our Colossus 100k H100 training cluster online. From start to finish, it was done in 122 days. Colossus is the most powerful AI training system in the world. Moreover, it will double in size to 200k (50k H200s) in a few months. Excellent…September 2, 2024
Da dove deriva il nome Colossus?
Tom's Hardware osserva: "Sebbene tutti questi cluster siano formalmente operativi e stiano addirittura addestrando modelli di intelligenza artificiale, non è affatto chiaro quanti siano effettivamente online oggi. In primo luogo, ci vuole un po' di tempo per eseguire il debug e ottimizzare le impostazioni di questi super cluster. In secondo luogo, X deve assicurarsi che ricevano energia sufficiente e, sebbene l'azienda di Elon Musk abbia utilizzato 14 generatori diesel per alimentare il suo supercomputer Memphis, questi non erano ancora sufficienti per alimentare tutte le 100.000 GPU H100".
Il sistema Colossus è destinato a raddoppiare la sua capacità, con l'intenzione di incorporare altre 100.000 GPU - 50.000 unità H100 e 50.000 chip H200 di nuova generazione di Nvidia. Il supercluster sarà utilizzato principalmente per addestrare Grok-3 di xAI, l'ultimo e più avanzato modello di intelligenza artificiale dell'azienda. Non è ancora stato menzionato lo spazio di archiviazione per il nuovo sistema, ma dovrà essere enorme.
Il nome del nuovo supercomputer ha comunque sollevato più di qualche sopracciglio, con persone che hanno notato che condivide il nome con un film di fantascienza del 1970 (basato su un romanzo del 1966 di D.F. Jones) su un supercomputer che diventa senziente dopo aver ricevuto il controllo dell'arsenale nucleare statunitense. Le cose, come prevedibile, vanno terribilmente male per l'umanità.
Sia il romanzo che il film esplorano i temi attuali dell'autonomia dell'intelligenza artificiale, i pericoli di cedere il controllo alle macchine e le implicazioni etiche dell'intelligenza artificiale. È possibile che Musk non ne fosse a conoscenza quando è stato scelto il nome per il suo nuovo sistema di addestramento dell'intelligenza artificiale, e che sia stato selezionato solo per enfatizzare la vastità del superammasso. D'altra parte, visti i precedenti di Musk, non sarebbe sorprendente se il riferimento fosse del tutto intenzionale: sa esattamente cosa sta facendo.
