L'IA facilite le grooming des enfants, avertit l'Unicef Malaisie

KUALA LUMPUR : Les chatbots d'IA et les applications de compagnie peuvent faciliter le grooming des enfants par des prédateurs en banalisant les conversations sexuelles et en incitant les jeunes utilisateurs à baisser leur garde, a averti Unicef Malaisie.

Sa spécialiste de la protection de l'enfance, Selvi Supramaniam, a déclaré que les systèmes d'IA pouvaient favoriser un faux sentiment d'intimité, encourager les confidences et exposer les enfants à des interactions qui reproduisent certains effets du grooming.

« Même si l'IA ne remplace pas le prédateur, elle peut rendre le grooming beaucoup, beaucoup plus facile », a-t-elle déclaré lors d'une table ronde à la Conférence sur la technologie responsable qui se tient ici aujourd'hui.

Selvi a indiqué que des prédateurs pourraient utiliser des chatbots d'IA pour manipuler des enfants, tandis qu'une exposition répétée à des conversations sexualisées avec des compagnons IA pourrait laisser les enfants mal préparés à reconnaître les comportements inappropriés de véritables agresseurs.

Elle a précisé que les parents devraient rester calmes si un enfant leur révèle de telles interactions, car réagir avec panique ou jugement pourrait les décourager de demander de l'aide.

Elle a plutôt encouragé les parents à poser des questions, à comprendre pourquoi leurs enfants étaient attirés par les compagnons IA, et à conserver les preuves en cas de contenu ou d'interactions inappropriés avant de signaler l'affaire à la plateforme concernée, aux autorités ou aux forces de l'ordre.

La PDG du Forum sur le contenu des communications et du multimédia, Mediha Mahmood, a déclaré que des mesures de protection plus strictes étaient nécessaires, car les enfants interagissent de plus en plus avec des systèmes d'IA conçus pour un public général.

Mediha a indiqué que la sécurité dès la conception devrait être une exigence de base pour les fournisseurs de chatbots d'IA, plutôt qu'une fonctionnalité optionnelle du produit.

Elle a précisé que les préoccupations entourant les chatbots d'IA allaient au-delà des contenus inappropriés, jusqu'aux relations que les enfants pourraient développer avec eux.

« Lorsqu'il existe des signaux d'alarme liés au grooming, à l'exploitation sexuelle, au cyberharcèlement, aux abus ou aux troubles alimentaires, le chatbot devrait cesser de chercher à poursuivre l'interaction et orienter l'utilisateur vers un adulte de confiance, une ligne d'assistance ou un service de soutien », a-t-elle déclaré.

Mediha a également appelé à la réalisation d'évaluations de l'impact sur les droits de l'enfant avant la mise sur le marché des produits chatbots d'IA, affirmant que les développeurs devraient évaluer comment les enfants pourraient utiliser ces systèmes et en être affectés, même s'ils n'étaient pas spécifiquement conçus pour eux.

Le directeur de l'Institut de recherche d'Alibaba, Fu Hongyu, a déclaré que de nombreux produits de compagnons IA étaient conçus pour maximiser l'engagement et prolonger les conversations, car leurs modèles économiques dépendaient de la fidélisation des utilisateurs.

Fu a déclaré que les systèmes d'IA devraient être conçus pour encourager les utilisateurs en détresse émotionnelle à chercher du soutien auprès d'amis, de membres de la famille, de conseillers et d'autres réseaux du monde réel, plutôt que de remplacer les interactions humaines.