Apple a supprimé de l'App Store plusieurs applications « nudify » basées sur l'IA après avoir subi des pressions juridiques de la part du procureur de la ville de San Francisco, mais l'épisode soulève une question bien plus importante que celle de savoir si une poignée d'applications ont violé les règles de l'App Store.
Le vrai problème est de savoir pourquoi ces applications ont réussi à se retrouver sur l'un des marchés d'applications les plus étroitement contrôlés au monde.
La dernière controverse a commencé après que le procureur de la ville de San Francisco, David Chiu, a envoyé des lettres de cessation et d'abstention à Apple et à Google, accusant les sociétés de faciliter la distribution d'applications capables de générer des images de nus non consensuelles générées par l'IA. Selon les mentions légales, les entreprises ont également profité de ces applications via des achats intégrés, les autorités californiennes arguant que les plateformes devraient rompre leurs liens avec les développeurs proposant de tels services.
Apple a maintenant répondu, confirmant que plusieurs des applications identifiées ont déjà été supprimées tandis que d'autres développeurs risquent d'être supprimés définitivement s'ils ne respectent pas les politiques de l'App Store.
Apple affirme que les applications violent ses règles. Les critiques disent qu’ils n’auraient pas dû apparaître du tout.
Suite à la publication de l'enquête de WIRED, Apple a déclaré à 9to5Mac que les applications conçues pour générer ou distribuer du contenu pornographique ou de « nudification » ont toujours violé ses directives d'examen des applications. Selon la société, trois des applications mises en avant par le bureau du procureur de la ville de San Francisco ont déjà été supprimées de l'App Store, tandis que les comptes de développeur derrière elles sont en train d'être résiliés. Apple a également déclaré avoir contacté quatre développeurs supplémentaires, les avertissant de remédier aux violations de la politique sous peine de retrait de la plate-forme.
« L'App Store a été conçu pour être un endroit sûr et fiable pour les utilisateurs », a déclaré Apple dans son communiqué, ajoutant qu'il rejetait de manière proactive les applications de nudification et en supprimait d'autres après avoir reçu des rapports via ses outils de reporting. Apple a également réitéré que les développeurs restent responsables du contenu généré dans leurs applications. Les applications qui autorisent le contenu généré par les utilisateurs doivent inclure des mécanismes pour filtrer le matériel répréhensible, sous peine de risquer d'être complètement supprimées de l'App Store.
Google a pris des mesures similaires. La société affirme avoir déjà suspendu des centaines d’applications Android offrant des fonctionnalités de nudification et restreint les recherches sur le Play Store pour des termes tels que « nudify ». Selon Google, les cinq applications Android citées par le procureur de la ville de San Francisco ont également été supprimées pour violation des politiques du Play Store.
Voici la déclaration complète d'Apple fournie à 9to5Mac : « L'App Store a été conçu pour être un endroit sûr et fiable pour les utilisateurs, et nous avons toujours strictement interdit les applications conçues pour générer, distribuer ou consommer de la pornographie. Les applications de « nudification » sont contraires à nos directives d'examen des applications, et nous avons rejeté de manière proactive bon nombre de ces applications et supprimé beaucoup d'autres, y compris lorsque les utilisateurs les ont signalées via nos outils de rapport. Nous avons supprimé trois des applications en question et sommes en train de mettre fin à leurs comptes de développeur de notre programme. Nous sommes en contact avec quatre autres personnes qui doivent remédier aux violations des politiques ou risquent d'être également supprimées.
Le plus grand défi est la modération à l’ère de l’IA
Cette action en justice intervient dans un contexte d’inquiétude croissante quant à la manière dont l’IA générative a considérablement réduit les obstacles à la création de deepfakes explicites. Contrairement à la pornographie traditionnelle, de nombreux outils d’échange de visages basés sur l’IA ne nécessitent rien de plus qu’une seule photographie. En quelques secondes, les utilisateurs peuvent générer des images de nus fabriquées ou des vidéos explicites représentant de vraies personnes à leur insu ou sans leur consentement.
Les autorités affirment que les conséquences vont bien au-delà des violations de la vie privée. Les victimes signalent de plus en plus de harcèlement, d’extorsion, d’atteinte à leur réputation et de graves conséquences sur leur santé mentale. Des enquêtes antérieures ont également révélé des incidents dans des dizaines d’écoles où des images sexuelles de mineurs générées par l’IA avaient été créées à l’aide d’outils disponibles dans le commerce. Ce qui rend l'application particulièrement difficile, c'est que bon nombre de ces applications ne se présentent pas ouvertement comme des outils de « nudification ». Au lieu de cela, ils se présentent comme des applications inoffensives d’échange de visage ou de retouche photo par l’IA. Les capacités explicites de génération d’images restent souvent cachées jusqu’après l’installation ou derrière les achats intégrés, ce qui rend la modération automatisée beaucoup plus difficile.
Une étude publiée plus tôt cette année a révélé qu'un grand nombre d'applications d'échange de visage apparemment ordinaires pouvaient toujours générer des deepfakes explicites même si elles ne se commercialisaient pas de cette façon. Dans de nombreux cas, les chercheurs n’ont trouvé que peu ou pas de garanties pour empêcher une utilisation abusive.
Cette distinction est devenue au cœur du débat auquel Apple et Google sont désormais confrontés.
Les deux sociétés soutiennent que leurs politiques interdisent clairement la pornographie et les contenus à caractère sexuel. Les critiques soutiennent cependant que les politiques à elles seules ne suffisent plus lorsque les applications d’IA peuvent dissimuler des fonctionnalités nuisibles derrière des fonctionnalités par ailleurs légitimes. Le bureau du procureur de la ville affirme également qu'Apple et Google bénéficient financièrement de ces applications via des commissions sur les achats intégrés, arguant que les opérateurs de plateformes ont une plus grande responsabilité pour les identifier et les supprimer avant qu'elles n'atteignent les utilisateurs.
Pour Apple, les dernières suppressions peuvent aider à répondre aux critiques immédiates, mais il est peu probable qu’elles mettent fin à la conversation plus large. À mesure que l’IA générative devient moins chère, plus rapide et de plus en plus capable de produire des médias synthétiques réalistes, l’évaluation des applications ne se limite plus à vérifier les captures d’écran ou les descriptions des développeurs. Il faut désormais identifier ce qu’un modèle d’IA peut être persuadé de générer après l’installation, une tâche considérablement plus difficile que la modération traditionnelle.
Il est peu probable que ce défi disparaisse de sitôt, tout comme les questions posées aux entreprises qui gèrent les plus grands magasins d'applications au monde.
