Un recente studio ha portato alla luce il fatto che molti strumenti destinati alla governance dell'AI sono inefficaci nel misurare l'equità e la legittimità dei sistemi basati sull'intelligenza artificiale.
Molti di questi strumenti, sviluppati da aziende come Microsoft, Google e IBM, vengono utilizzati dai governi per determinare la correttezza e la responsabilità dei sistemi di AI nel contesto in cui vengono utilizzati.
Il report pubblicato dal World Privacy Forum sostiene che molti di questi sistemi vengono usati in modo improprio per la mancanza di istruzioni specifiche, di linee guida e requisiti per la garanzia di qualità.
Se i controlli sono difettosi non c'è regolamentazione
Il report ha esaminato 18 strumenti di governance progettati per calcolare e verificare i possibili rischi derivanti da un uso scorretto dalle Intelligenze Artificiali, rilevando che la mancanza di una regolamentazione, di un quadro di riferimento e di requisiti di base fa sì che molti di questi siano parzialmente o completamente inefficaci.
"La maggior parte degli strumenti di governance dell'AI in uso oggi sono piuttosto approssimativi", ha osservato Pam Dixon, fondatrice e direttore esecutivo del World Privacy Forum. "Il problema è che non ci sono requisiti stabiliti per la garanzia di qualità o la valutazione. Non ci sono istruzioni sul contesto in cui dovrebbero essere utilizzati, e nemmeno un avviso sul conflitto di interessi".
Diversi studiosi intervistati nell'ambito dello studio hanno criticato gli strumenti di governance AI che "menzionano, raccomandano o incorporano usi off-label di strumenti potenzialmente difettosi o inadatti", compromettendo l'equità e la spiegabilità dell'AI. Il report ha anche rilevato che alcuni strumenti di governance presentano parametri di riferimento per l'impatto disparato che si applicano solo in contesti specifici.
Un esempio è la regola dei quattro quinti, ampiamente riconosciuta nel campo dell'occupazione statunitense come misura dell'equità dei processi di selezione del personale. Tuttavia, uno studio del 2019 ha rilevato che la regola è stata codificata in una serie di strumenti impiegati per misurare l'equità dell'AI in contesti che non hanno alcuna relazione con l'occupazione, senza tener conto del potenziale impatto sui loro sistemi.
Stando a quanto emerge dallo studio, "gli standard e le linee guida per la valutazione e la garanzia della qualità degli strumenti di governance dell'AI non sembrano essere coerenti in tutto l'ecosistema dell'AI". La mancanza di una garanzia di qualità universale significa che ci sono disparità significative nel modo in cui gli strumenti di governance AI vengono regolamentati. Il report afferma che è necessario fare di più "per costruire un ambiente di valutazione degli strumenti di governance dell'AI che faciliti la convalida, la trasparenza e altre misurazioni".
Il report conclude che "strumenti di governance dell'IA incompleti o inefficaci possono creare un falso senso di fiducia, causare problemi non voluti e, in generale, minare la promessa dei sistemi di AI".
Fonte: VentureBeat
