È necessario fare di più per affrontare la mancanza di competenze e di risorse relative all'integrazione e alla sicurezza dell'IA, ha dichiarato Maria Markstedeter, CEO e fondatrice di Azeria Labs, in occasione della recente conferenza Dynatrace Perform 2024 a Las Vegas.
Per combattere i rischi posti da nuove innovazioni come gli agenti di IA e l'IA composita, i team di sicurezza e i data scientist devono migliorare la comunicazione e la collaborazione.
Avendo sperimentato le frustrazioni che la mancanza di risorse comporta nella sua esperienza di reverse engineering dei processori ARM, Markstedter ritiene che sia necessaria una migliore collaborazione e comprensione per ridurre al minimo le minacce poste dalle integrazioni di IA.
"Non si possono trovare vulnerabilità in un sistema che non si conosce a fondo".
La crescente dimensione e complessità dei dati elaborati dai modelli di IA sta superando i limiti di ciò che i team di sicurezza sono in grado di modellare sulle minacce, soprattutto quando i professionisti della sicurezza non hanno le risorse per comprenderle.
I nuovi attacchi e le nuove vulnerabilità "richiedono una comprensione della scienza dei dati e del funzionamento dei sistemi di intelligenza artificiale, ma anche una conoscenza molto approfondita della sicurezza, della modellazione delle minacce e della gestione del rischio", afferma Markstedter.
Ciò è particolarmente vero quando si tratta di nuovi sistemi di IA multimodali, in grado di elaborare contemporaneamente più dati, come testo, audio e immagini. Markstedter sottolinea che, sebbene i sistemi di IA unimodali e multimodali differiscano notevolmente per i dati che possono elaborare, la natura generale di chiamata e risposta dell'interazione tra uomo e IA rimane in gran parte la stessa.
"Questa natura transazionale non è la soluzione d'emergenza che speravamo di ottenere. È qui che entrano in gioco gli agenti di intelligenza artificiale".
Gli agenti di intelligenza artificiale rappresentano una soluzione a questa natura altamente transazionale, avendo essenzialmente la capacità di "pensare" al proprio compito e di ottenere un risultato finale unico in base alle informazioni disponibili in quel momento.
Ciò rappresenta una minaccia significativa e senza precedenti per i team che si occupano di sicurezza, in quanto "la nozione di gestione degli accessi e delle identità deve essere rivalutata, perché in pratica stiamo entrando in un mondo in cui abbiamo un sistema non deterministico che ha accesso a una moltitudine di dati e applicazioni aziendali e ha l'autorizzazione a eseguire azioni non deterministiche".
Markstedter sostiene che, poiché questi agenti di intelligenza artificiale avranno bisogno di accedere a fonti di dati interne ed esterne, esiste un rischio significativo che questi agenti vengano alimentati con dati dannosi che altrimenti potrebbero sembrare non dannosi per un valutatore di sicurezza.
"L'elaborazione di dati esterni diventerà ancora più complicata con l'IA multimodale, perché ora le istruzioni dannose non devono necessariamente far parte del testo di un sito web o di un'e-mail, ma possono essere nascoste in immagini e file audio".
Non ci sono però solo cattive notizie. L'evoluzione dei sistemi compositi che combinano più tecnologie di intelligenza artificiale in un unico prodotto può "creare strumenti che ci offrono un'esperienza di analisi molto più interattiva e dinamica".
Combinando la modellazione delle minacce con l'IA composita e incoraggiando i team di sicurezza a collaborare più strettamente con i data scientist, è possibile ridurre notevolmente non solo i rischi posti dalle integrazioni dell'IA, ma anche migliorare le competenze dei team di sicurezza.
