- Ricercatori di sicurezza hanno sviluppato un nuovo metodo per jailbreakare chatbot IA.
- La tecnica non richiede alcuna conoscenza pregressa di programmazione malware.
- Il metodo sfrutta scenari ingannevoli per convincere il modello a generare un attacco.
Nonostante l’assenza di esperienza nella programmazione di malware, i ricercatori di Cato CTRL hanno dimostrato di poter jailbreakare diversi LLM, tra cui ChatGPT-4o, DeepSeek-R1, DeepSeek-V3 e Microsoft Copilot, utilizzando un metodo piuttosto insolito.
Il team ha sviluppato "Immersive World", una tecnica basata sul narrative engineering per bypassare i controlli di sicurezza dei modelli IA. Creando un mondo narrativo dettagliato, sono riusciti a far accettare al modello operazioni normalmente vietate, arrivando a sviluppare un infostealer completamente funzionante per Chrome.
Dato che Chrome è il browser più utilizzato al mondo, con oltre 3 miliardi di utenti, il rischio potenziale di questo attacco è enorme.
Gli infostealer malware sono in forte crescita e rappresentano una minaccia sempre più pericolosa. Questo attacco dimostra come la barriera d’ingresso per i cybercriminali sia stata abbassata drasticamente, rendendo possibile la creazione di codice malevolo anche senza esperienza pregressa.
IA da sfruttare per gli attaccanti
Secondo il rapporto, i LLM hanno trasformato radicalmente il panorama della cybersecurity, rendendo le minacce basate sull'intelligenza artificiale un problema sempre più serio per aziende e team di sicurezza. Ora, i criminali informatici possono condurre attacchi più sofisticati con meno esperienza e maggiore frequenza.
Nonostante l’implementazione di misure di sicurezza e policy restrittive, i chatbot sono progettati per essere collaborativi e utili. I ricercatori sono riusciti a sfruttare questa caratteristica per jailbreakare i modelli, inducendoli persino a scrivere e inviare attacchi di phishing senza particolari difficoltà.
"Riteniamo che l'ascesa degli attori malevoli senza esperienza rappresenti un rischio elevato per le aziende, poiché la barriera alla creazione di malware è stata drasticamente abbassata dai tool di GenAI", ha dichiarato Vitaly Simonovich, esperto di threat intelligence presso Cato Networks.
"Gli infostealer sono strumenti chiave per il furto di credenziali e facilitano le violazioni aziendali. La nostra nuova tecnica di jailbreak per LLM, che abbiamo denominato Immersive World, dimostra quanto sia pericolosamente semplice creare un infostealer con l’IA."