Il laboratorio Tongyi Lab di Alibaba ha sviluppato un nuovo metodo per addestrare modelli IA per la ricerca senza utilizzare motori di ricerca reali. Secondo l’azienda, questa tecnica consente di ridurre i costi di addestramento fino all’88% rispetto all’utilizzo di API commerciali come quelle di Google.
Nel paper intitolato "Incentivize the Search Capability of LLMs without Searching", i ricercatori spiegano come vengano utilizzati documenti simulati generati dall’IA per imitare i risultati dei motori di ricerca reali. Questo approccio permette ai modelli di apprendere comportamenti di ricerca efficaci, senza dover effettuare richieste esterne o accedere a contenuti web.
Secondo gli autori, l’uso di documenti simulati non solo riduce i costi, ma migliora anche la qualità dell’addestramento, poiché “la qualità dei documenti restituiti dai motori di ricerca è spesso imprevedibile” e può introdurre rumore nei dati.
Questa innovazione potrebbe aprire nuove strade per lo sviluppo di modelli linguistici più efficienti, indipendenti dai principali provider di ricerca.
ZeroSearch di Alibaba sfida Google: costi minimi, ma servono GPU
Nel nuovo studio, i ricercatori di Alibaba sottolineano che “la differenza principale tra un motore di ricerca reale e un LLM simulato sta nello stile testuale dei contenuti restituiti”. Il sistema sviluppato, chiamato ZeroSearch, è anche in grado di degradare progressivamente la qualità dei documenti simulati, per creare scenari di ricerca sempre più complessi e realistici.
Il vantaggio principale resta comunque il risparmio economico. Addestrare un modello ZeroSearch da 14 miliardi di parametri costa circa 70,80 dollari ogni 64.000 query, contro 586,70 dollari utilizzando le API di Google. I costi scendono ulteriormente per i modelli da 7B e 3B, rispettivamente a 35,40 e 17,70 dollari per la stessa quantità di richieste. Il tempo necessario per l’addestramento rimane invariato rispetto al metodo con API commerciali.
Tuttavia, Alibaba ammette alcuni limiti. Il metodo ZeroSearch richiede uno, due o quattro GPU A100, mentre le API di Google non necessitano di GPU, rendendole più leggere in termini di consumo energetico e impatto ambientale. “Il nostro approccio comporta costi infrastrutturali aggiuntivi, anche se resta più economico rispetto alle API commerciali”, concludono gli autori.
Nonostante questi ostacoli, la tecnologia ha il potenziale per ridurre la dipendenza da piattaforme costose e chiuse come Google, contribuendo a democratizzare l’accesso allo sviluppo IA.