Nous y sommes tous allés. Vous ressentez une douleur étrange au côté ou recevez un résultat de test confus du médecin, et la première chose que vous faites est d'ouvrir Google. Vous ne recherchez pas un diplôme en médecine ; vous voulez juste une réponse rapide à la question « est-ce que je vais bien ? » Mais récemment, Google a dû freiner ses résumés de recherche IA car, il s’avère que demander un avis médical à un robot pourrait en fait être dangereux.
Google a discrètement supprimé de ses résultats de recherche un certain nombre de résumés de santé générés par l'IA après qu'une enquête a révélé qu'ils donnaient des informations inexactes et franchement effrayantes. Tout a commencé après qu’un rapport du Guardian a souligné que ces « aperçus de l’IA » – les cases colorées qui apparaissent tout en haut de votre recherche – fournissaient des données incomplètes.
L’exemple le plus flagrant concerne les analyses de sang du foie.
Si vous demandiez à l’IA des « plages normales », elle vous donnerait simplement une liste de chiffres. Il ne vous a pas demandé si vous étiez un homme ou une femme. Il ne demandait pas votre âge, votre appartenance ethnique ou vos antécédents médicaux. Il a juste donné un numéro fixe. Les experts médicaux ont examiné la situation et ont déclaré en gros : « C’est dangereux. »
Le problème ici n’est pas seulement que l’IA avait tort ; c'est que c'était dangereusement trompeur. Imaginez une personne atteinte d’une maladie hépatique à un stade précoce qui consulte les résultats de ses tests. L’IA leur dit que leurs chiffres se situent dans la fourchette « normale » qu’elle a extraite d’un site Web aléatoire. Cette personne pourrait penser : « Oh, je vais bien, alors » et sauter un rendez-vous de suivi. En réalité, un chiffre « normal » pour une personne de 20 ans pourrait être un signe d’avertissement pour une personne de 50 ans. L’IA n’a pas les nuances nécessaires pour le savoir, et cette lacune dans le contexte peut avoir de graves conséquences dans le monde réel.
La réponse de Google a été assez standard : ils ont supprimé les requêtes spécifiques signalées et ont insisté sur le fait que leur système est généralement utile. Mais voici le problème : des organisations de santé comme le British Liver Trust ont découvert que si vous reformuliez légèrement la question, les mêmes mauvaises informations réapparaissaient. C'est comme un jeu de taupe numérique. Vous corrigez une erreur et l’IA en génère une nouvelle cinq secondes plus tard.
Le vrai problème ici est la confiance
Parce que ces résumés d’IA se trouvent juste en haut de la page, au-dessus des liens vers des hôpitaux ou des revues médicales, ils dégagent une impression d’autorité. Nous sommes formés pour faire confiance au meilleur résultat. Lorsque Google présente une réponse dans une petite boîte soignée, notre cerveau la traite inconsciemment comme la « bonne » réponse. Mais ce n'est pas le cas. C'est juste un moteur de prédiction qui essaie de deviner quels mots suivront.
Pour l’instant, il s’agit d’un signal d’alarme massif. L'IA est idéale pour résumer un e-mail ou planifier un itinéraire de voyage, mais lorsqu'il s'agit de votre santé, elle n'est clairement pas prête à être utilisée aux heures de grande écoute. Jusqu’à ce que ces systèmes puissent comprendre le contexte – ou jusqu’à ce que Google mette en place des garde-fous plus stricts – il est probablement plus sûr de passer devant le robot et de cliquer sur un lien réel provenant d’un vrai médecin. La vitesse, c'est bien, mais la précision est la seule chose qui compte lorsque vous parlez de votre santé.
