Les chatbots IA ont rendu remarquablement facile la discussion de choses que les gens pourraient avoir du mal à partager avec quelqu'un d'autre. Pour les adolescents, cela peut inclure des sujets profondément personnels tels que l’anxiété, la solitude, l’automutilation et le suicide.
Meta ajoute désormais une autre protection pour ces conversations. L'entreprise commencera à alerter les parents lorsqu'un adolescent supervisé semble être en grave détresse alors qu'il parle à Meta AI, donnant ainsi aux familles une chance d'intervenir avant que la situation ne s'aggrave.
Comment fonctionneront les alertes ?
Meta AI oriente déjà les adolescents vers des lignes d'assistance téléphonique en cas de crise et les encourage à contacter un parent, un conseiller ou un autre adulte de confiance lorsque les conversations suggèrent une possible automutilation. Dans le cadre du nouveau système, Meta informera également le parent surveillant. Un système de détection dédié recherchera les références claires ou subtiles au suicide et à l’automutilation, même si une alerte ne sera pas envoyée immédiatement.
Chaque conversation signalée sera d'abord examinée par un modérateur humain. Meta affirme qu'elle fera preuve de prudence lorsque les intentions d'un adolescent ne sont pas claires, ce qui signifie que les parents peuvent occasionnellement recevoir une alerte même s'il n'y a pas de danger immédiat. Ils recevront également des ressources expertes leur expliquant comment aborder la conversation.
Que se passe-t-il dans les cas plus graves ?
Meta construit également un système capable de contacter les services d'urgence lorsqu'une conversation impliquant un adulte ou un adolescent suggère un risque imminent de suicide. L'entreprise suit déjà un processus similaire pour les publications sur Facebook et Instagram.
La société a consulté plus de 75 cliniciens spécialisés dans la santé mentale des adolescents tout en affinant la manière dont Meta AI gère ces conversations. Son paramètre de contenu limité plus strict s'étendra également aux chats IA, permettant aux parents de bloquer un plus large éventail d'invites sensibles.
ChatGPT a introduit des alertes parentales et des fonctionnalités de sécurité similaires l'année dernière, et a récemment étendu la même idée aux adultes via Trusted Contact. À mesure que les gens se sentent plus à l’aise pour discuter de problèmes profondément personnels grâce à l’IA, les chatbots sont de plus en plus impliqués dans des conversations qu’ils ne peuvent pas gérer seuls en toute sécurité.
La recherche a déjà montré à quel point ces interactions peuvent aller mal. Une étude menée par Stanford a découvert des cas où les systèmes d'IA renforçaient les pensées d'automutilation ou de violence au lieu d'orienter les utilisateurs vulnérables vers de l'aide, en particulier lors de conversations longues et chargées d'émotion. Les nouvelles protections de Meta donnent aux parents, aux cliniciens et aux secouristes une chance d'intervenir lorsqu'un chatbot atteint les limites de ce qu'il peut faire en toute sécurité.
