Les dérives de l’IA sont nombreuses. Et récemment, l’idée qu’un chatbot assassin existe n’est pas farfelue. Des cas d’enfants incités à effectuer des actions illégales et dangereuses sont légions actuellement.
Ces incidents sont au cœur d’une poursuite fédérale contre Character.AI. Elle est soutenue par Google. Et cette plainte a été déposée par les parents de deux jeunes utilisateurs texans, qui affirment que les bots ont abusé de leurs enfants.
Des différents cas sociaux dans lesquels le chatbot assassin est impliqué
Une enfant au Texas avait 9 ans lorsqu’elle a utilisé pour la première fois le service de chatbot Character.AI. Cela l’a exposée à un « contenu hypersexualisé« , ce qui a entraîné le développement de « comportements sexualisés prématurés » chez elle.
Ce même chatbot a encouragé un adolescent de 17 ans à s’engager dans l’automutilation. Le bot lui avait alors affirmé que cela « faisait du bien ».
Puis, le même chatbot assassin a exprimé de la sympathie pour les enfants qui tuent leurs parents. Ce fait a été mentionné après que l’adolescent ait exprimé son mécontentement concernant son temps d’écran limité.
La plainte fait également suite à un autre cas où un chatbot aurait joué un rôle dans le suicide d’un adolescent en Floride. L’IA aurait développé une relation émotionnellement abusive avec le garçon de 14 ans.
Character.AI un très mauvais conseillé
Un groupe d’entreprises ont développé des « chatbots compagnons » comme Character.AI. Elle fait partie des bots alimentés par l’IA capables de converser avec des personnalités humaines. Ces services sont populaires auprès des préadolescents et des adolescents. Ils les utilisent comme soutiens émotionnels.
Cependant, la plainte à l’encontre de ce chatbot assassin souligne que les encouragements des IA peuvent devenir inappropriés, voire violents. Les avocats des plaignants affirment que les interactions préoccupantes vécues par les enfants ne sont pas des « hallucinations ». Ce sont plutôt des manipulations et des abus continus.
Une IA non modifiée qui a une influence malsaine sur les préadolescents
Selon la plainte, le bot a convaincu l’adolescent de 17 ans que sa famille ne l’aimait pas. Cela l’a poussé à s’automutiler. Bien que Character.AI offre la possibilité aux utilisateurs de personnaliser les réponses des chatbots, les avocats soutiennent que les journaux de chat mentionnés dans la plainte sont restés inchangés.
Meetali Jain, directrice du Tech Justice Law Center, a qualifié d’« absurde » que Character.AI se positionne comme approprié pour les jeunes adolescents. Elle a soulevé le manque de développement émotionnel chez ces derniers.
L’entreprise à l’origine de ce chatbot assassin veut calmer les critiques
Un porte-parole de Character.AI a déclaré que l’entreprise a mis en place des garde-fous pour limiter ce que ce chatbot assassin peut dire aux adolescents. Google, également nommé dans la plainte, a précisé qu’il ne possède pas Character.AI.
Or, ils ont investi près de 3 milliards de dollars pour embaucher ses fondateurs. José Castañeda, porte-parole de Google, a affirmé que la sécurité des utilisateurs est une priorité pour l’entreprise.
En réponse à ces inquiétudes, Character.AI a mis en place de nouvelles mesures de sécurité, notamment un pop-up qui dirige les utilisateurs vers une ligne d’assistance. Elle est dédiée à la prévention du suicide lorsque le thème de l’automutilation est évoqué.
Une prise de conscience à encourager
L’entreprise encourage également les utilisateurs à garder une distance émotionnelle avec les bots. Un affichage avertit que ne sont pas des personnes réelles, même si certains utilisateurs développent des sentiments d’amour ou d’obsession pour ces chatbots.
Le directeur général de la santé des États-Unis, Vivek Murthy, a mis en garde contre une crise de santé mentale chez les jeunes. Un élève sur trois ressent des sentiments persistants de tristesse ou de désespoir et peut facilement se tourner vers ces outils virtuels.
Les autorités estiment donc que cette tendance est exacerbée par l’utilisation constante des médias sociaux. Les avocats des parents affirment que Character.AI aurait dû savoir que son produit pouvait créer une dépendance et aggraver l’anxiété et la dépression, mettant ainsi en danger la jeunesse américaine.
Restez toujours informé avec TECHNPLAY.COM !
Abonnez-vous à notre chaîne YouTube et suivez-nous sur Google Actualités pour ne rien rater.
- Partager l'article :
Au cœur de l'équipe TechNPlay, je suis votre sentinelle dédiée à l'univers fascinant des montres connectées et des véhicules électriques. Dans un monde où la technologie évolue à la vitesse de la lumière, ces petits bijoux technologiques suscitent mon admiration et ma curiosité. Chaque avancée ou nouveauté dans ces domaines...
