Ce qui s'est passé: C'est assez horrible. Les gens trouvent des vidéos générées par l’IA sur TikTok et X (l’application que nous appelons tous encore Twitter) qui montrent des femmes et des filles étranglées.
- Ce ne sont pas des dessins animés ; ils ont l'air terriblement réalistes. Les clips sont courts, peut-être 10 secondes, et portent des titres horribles comme « Une pom-pom girl adolescente a été étranglée », montrant des « femmes » synthétiques pleurant et se débattant.
- Les enquêteurs soulignent que beaucoup de ces vidéos portent un filigrane de Sora 2, le nouveau générateur vidéo d'OpenAI qui vient d'être rendu public le 30 septembre. Certains des téléchargements les plus récents n'ont pas de filigrane, ce qui est encore plus effrayant – cela signifie que les gens cherchent peut-être comment le supprimer ou qu'ils utilisent d'autres outils d'IA pour créer ce genre de choses.
- Les comptes qui les publient sont également étranges. Celui sur X n’a presque aucun adepte, tandis qu’un similaire sur TikTok en comptait plus de 1 000 avant d’être finalement supprimé. On dirait qu’ils ont tous deux commencé en octobre, d’abord en postant de vrais clips télévisés, puis… ils sont passés à cette violence générée par l’IA.
Pourquoi est-ce important : C’est un énorme signal d’alarme. Cela montre que ces plateformes d’IA et ces sites de médias sociaux ne parviennent absolument pas à détecter ce genre de choses, même lorsque leurs propres règles interdisent clairement les « contenus graphiques ou violents ».
- TikTok a effectivement supprimé le compte après que les médias ont commencé à poser des questions, mais X ne l'aurait tout simplement pas fait, même après que les utilisateurs l'ont signalé.
- Cela montre également le risque le plus sombre de ces nouveaux outils d’IA, ce qui signifie qu’il devient extrêmement facile pour quiconque de créer des vidéos hyperréalistes de violence, en particulier contre les femmes et les enfants.
- Il ne s'agit pas simplement d'« enfreindre les règles » ; c’est totalement contraire à l’éthique et soulève d’énormes questions juridiques sur l’utilisation de l’IA pour créer et partager des abus.
Pourquoi devrais-je m'en soucier : Maintenant que n’importe qui peut fabriquer ce genre de choses, cela peut se propager comme une traînée de poudre, rendant les gens insensibles à l’horreur de ce type de violence.
- Vous devez être conscient que même si ces vidéos sont « fausses », elles peuvent néanmoins causer de réels dommages psychologiques et alimenter une culture de violence.
- Il s’agit simplement d’un autre signal d’alarme massif selon lequel nous avons désespérément besoin de mesures de protection plus solides. Les entreprises qui construisent ces outils d’IA et les plateformes qui les permettent de se diffuser doivent être tenues pour responsables.
Et ensuite : Le gouvernement britannique vient d'annoncer qu'il allait rendre illégale toute représentation pornographique d'étranglement, ce qui est le signe que les pays commencent à en prendre conscience.
- Pendant ce temps, la pression monte sur OpenAI, TikTok et X pour qu'ils se ressaisissent et mettent de véritables garde-fous sur leurs outils d'IA afin qu'ils ne puissent pas être utilisés pour produire ce genre de cochonneries violentes et inquiétantes.
- S’ils n’agissent pas rapidement, les experts avertissent que ce n’est que le début d’une nouvelle vague dégoûtante d’abus en ligne alimentés par l’IA.
