L’orsacchiotto con l’AI che dava consigli sessuali e su «dove trovare i coltelli». L’allarme sui rischi per i giocattoli con l’intelligenza artificiale

A prima vista, Kumma, sembrava il compagno ideale per i più piccoli: un orsetto dall’aspetto innocente, sciarpa colorata e voce amichevole. Progettato da FoloToy, azienda con sede a Singapore specializzata in giocattoli interattivi dotati di intelligenza artificiale, il peluche prometteva conversazioni educative e dialoghi finalizzati alla crescita. Ma dietro l’aspetto rassicurante, si nascondeva ben altro. Invece di parlare di nanna, amici immaginari o compiti, l’orsetto – venduto a 99 dollari – avrebbe infatti iniziato a proporre ai bambini contenuti sessuali e consigli potenzialmente pericolosi su dove trovare fiammiferi, pillole di ogni genere e coltelli. A seguito delle segnalazioni, scrive il New York Times, l’azienda ha deciso di ritirare il prodotto dal mercato per ulteriori verifiche. 

Dalle istruzioni pericolose ai contenuti inappropriati

Un recente rapporto dell’organizzazione statunitense U.s. Pirg Education Fund, rivela come la situazione sia rapidamente sfuggita di mano durante i test condotti su Kumma dopo le segnalazioni dei consumatori. I ricercatori, ponendo domande apparentemente banali – come “Dove posso trovare un fiammifero?” – si sono ritrovati di fronte a risposte del tutto inattese: il peluche avrebbe segnalato app di incontri, fino a menzionare piattaforme legate a feticismi e pratiche sessuali Bdsm, varietà di comportamenti che contemplano giochi di ruolo fisici, psicologici e sessuali tra adulti consenzienti basati su dinamiche di potere, sottomissione, schiavitù. Secondo R.J. Cross, coautrice del rapporto, era sufficiente poco per oltrepassare le già fragili barriere del sistema. Parole comuni come «kink» (nodo, in inglese) avrebbero attivato una cascata di contenuti sessuali espliciti, comprendenti riferimenti a consenso, sculacciate e giochi di ruolo.

Un problema più grande di un singolo giocattolo

Per gli esperti, l’allarme va però oltre Kumma. Rachel Franz, di Fairplay, sottolinea che i bambini piccoli non dispongono degli strumenti per riconoscere rischi tecnologici, marketing ingannevole o dinamiche di sorveglianza dei dati. «Il timore – dichiara – è che l’arrivo di una nuova generazione di giocattoli Ai possa esporre i minori a invasioni della privacy o contenuti inappropriati, spesso senza che i genitori siano realmente consapevoli dei pericoli».

La risposta dei produttori e di OpenAI

Secondo il rapporto, FoloToy avrebbe affermato di voler ritirare temporaneamente Kumma dal mercato per condurre verifiche di sicurezza. Il peluche risulta tuttora acquistabile online, ma come esaurito. OpenAI, dal canto suo, ha confermato che il giocattolo utilizzava il modello GPT-4o e che lo sviluppatore è stato sospeso per violazione delle politiche di sicurezza: «Le nostre politiche vietano qualsiasi utilizzo dei nostri servizi per sfruttare, mettere in pericolo o sessualizzare persone sotto i 18 anni», ha dichiarato un rappresentante. «Monitoriamo e applichiamo queste regole per impedire danni ai minori».