- Raspberry Pi AI HAT+ 2 consente al Raspberry Pi 5 di eseguire LLM localmente
- L'acceleratore Hailo-10H offre una potenza di inferenza di 40 TOPS in INT4
- L'interfaccia PCIe abilita una comunicazione ad alta larghezza di banda tra la scheda e il Raspberry Pi 5
- Ti piacerebbe approfondire quali modelli linguistici specifici possono girare con 40 TOPS di potenza?
Raspberry Pi ha ampliato le proprie ambizioni nel campo dell'edge computing con il rilascio dell'AI HAT+ 2, una scheda aggiuntiva progettata per portare i carichi di lavoro dell'IA generativa direttamente sul Raspberry Pi 5.
L'hardware AI HAT precedente si concentrava quasi esclusivamente sull'accelerazione della computer vision, gestendo compiti come il rilevamento di oggetti e la segmentazione della scena.
La nuova scheda amplia tale raggio d'azione supportando modelli linguistici di grandi dimensioni (LLM) e modelli di visione-linguaggio (VLM) che vengono eseguiti localmente, senza dipendere da infrastrutture cloud o da un accesso costante alla rete.
Modifiche hardware che abilitano gli LLM
Il cuore dell'aggiornamento è l'acceleratore di reti neurali Hailo-10H, che offre prestazioni di inferenza pari a 40 TOPS (in formato INT4).
A differenza del suo predecessore, l'AI HAT+ 2 è dotato di 8 GB di memoria dedicata a bordo: questo permette di far girare modelli più grandi senza consumare la RAM di sistema del Raspberry Pi ospite. Tale modifica consente l'esecuzione diretta di LLM e VLM sul dispositivo, mantenendo bassa la latenza e conservando i dati localmente, requisito fondamentale per molte installazioni edge.
Utilizzando una distribuzione standard di Raspberry Pi, gli utenti possono installare i modelli supportati e accedervi tramite interfacce familiari, come strumenti di chat basati su browser. L'AI HAT+ 2 si collega al Raspberry Pi 5 tramite l'header GPIO e sfrutta l'interfaccia PCIe del sistema per il trasferimento dati, il che esclude la compatibilità con il Raspberry Pi 4. Questa connessione supporta un trasferimento dati ad alta larghezza di banda tra l'acceleratore e l'host, essenziale per gestire in modo efficiente input, output e dati della fotocamera.
Le dimostrazioni includono risposte a domande testuali con Qwen2, generazione di codice con Qwen2.5-Coder, compiti di traduzione di base e descrizioni visive di scene da flussi video in diretta. Questi carichi di lavoro si appoggiano a strumenti IA ottimizzati per lo stack software di Raspberry Pi, inclusi backend containerizzati e server di inferenza locali.
Tutta l'elaborazione avviene sul dispositivo, senza risorse di calcolo esterne. I modelli supportati variano da uno a un miliardo e mezzo di parametri, una dimensione modesta rispetto ai sistemi cloud che operano su scale molto più vaste. Questi piccoli LLM sono pensati per limiti di memoria ed energia ridotti, piuttosto che per una conoscenza generale e onnicomprensiva. Per ovviare a questo limite, l'AI HAT+ 2 supporta metodi di fine-tuning come la Low-Rank Adaptation (LoRA), che permette agli sviluppatori di personalizzare i modelli per compiti specifici mantenendo invariata la maggior parte dei parametri. Anche i modelli di visione possono essere riaddestrati con dataset specifici tramite la toolchain di Hailo.
L'AI HAT+ 2 è disponibile a 130 dollari, un prezzo superiore rispetto ai precedenti accessori dedicati alla visione, pur offrendo prestazioni simili in quell'ambito. Per i carichi di lavoro incentrati esclusivamente sull'elaborazione delle immagini, l'aggiornamento offre vantaggi limitati, poiché il suo valore risiede principalmente nell'esecuzione locale di LLM e nelle applicazioni sensibili alla privacy.
All'atto pratico, l'hardware dimostra che l'IA generativa su Raspberry Pi è ormai realtà, sebbene il margine di memoria ridotto e le dimensioni contenute dei modelli rimangano un fattore critico.
