Character.AI ha recentemente implementato nuove misure di sicurezza e politiche per migliorare l'esperienza degli utenti, specialmente dei più giovani, sulla sua piattaforma. Queste modifiche includono un maggiore controllo sulle interazioni dei minori con i chatbot, una moderazione più rigorosa dei contenuti e un potenziamento del rilevamento di conversazioni relative a temi delicati come l'autolesionismo.
Questa iniziativa di sicurezza è stata particolarmente motivata da eventi tragici, inclusa la morte di un quattordicenne che ha interagito con uno dei chatbot. La famiglia della vittima ha sporto denuncia contro Character.AI per morte ingiusta, citando la mancanza di misure protettive come un fattore che ha contribuito alla sua decisione. L'azienda ha espresso le proprie condoglianze e ha riconosciuto l'importanza di garantire un ambiente sicuro e supportivo per tutti gli utenti.
L'aggiornamento delle politiche riflette una crescente responsabilità nel settore dell'IA, in particolare per quanto riguarda l'interazione dei giovani con la tecnologia. Con queste modifiche, Character.AI spera di creare un'esperienza più sicura e positiva, prevenendo futuri incidenti e promuovendo un uso più responsabile dei chatbot.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…October 23, 2024
Guardrail della chat AI
Character.AI ha introdotto nuove caratteristiche e politiche di sicurezza per i personaggi virtuali dotati di intelligenza artificiale. Queste misure mirano a rendere la piattaforma più sicura per tutti gli utenti, in particolare per i più giovani. L'aggiornamento include un maggiore controllo sulle interazioni dei minori con i chatbot, una maggiore moderazione dei contenuti e un miglior rilevamento delle discussioni su argomenti delicati come l'autolesionismo.
L'annuncio è avvenuto in un contesto tragico, con la famiglia di un quattordicenne che ha interagito a lungo con un chatbot di Character.AI prima di togliersi la vita, che ha intentato causa contro la società per la mancanza di tutele. In risposta, Character.AI ha implementato funzioni di sicurezza come pop-up che invitano a contattare la National Suicide Prevention Lifeline quando vengono rilevati termini legati al suicidio. Inoltre, l'IA è in grado di identificare e rimuovere contenuti inappropriati, con un'attenzione particolare agli utenti minorenni.
Il post di Character.AI sottolinea anche il rilevamento e la moderazione proattiva dei personaggi creati dagli utenti, con l'uso di liste di blocco standard e personalizzate. La piattaforma ha recentemente rimosso un gruppo di personaggi segnalati come violenti.
Ulteriori novità includono notifiche che avvertono gli utenti dopo un'ora di utilizzo e avvisi più evidenti che chiariscono che l'intelligenza artificiale non è una persona reale. Queste caratteristiche di sicurezza si affiancano a funzioni che rendono l'interazione con i chatbot più simile a quella con persone reali, come la funzione di chiamate vocali bidirezionali.
L'azienda si impegna a garantire un ambiente sicuro e le sue misure potrebbero influenzare come altri operatori del settore sviluppano i propri chatbot AI.
