Il y a quelques semaines, un chercheur en médecine rapportait un cas assez curieux de raté médical induit par l'IA, détaillant le cas d'un individu qui avait consulté ChatGPT et était entré dans une spirale psychotique. en raison d'un empoisonnement au bromure. De telles préoccupations sont soulevées par les experts depuis un certain temps déjà, et il semble qu'OpenAI vise à les contrer avec un ChatGPT dédié. mode pour avis médical.
Le grand espoir
Tibor Blaho, ingénieur au sein de la société AIPRM spécialisée dans l'IA, a partagé un extrait intéressant qu'ils ont repéré dans le code de l'application Web de ChatGPT. Les chaînes mentionnent une nouvelle fonctionnalité appelée « Mode clinicien ». Le code ne détaille pas son fonctionnement, mais il semble être un mode dédié à la recherche de conseils en matière de santé, tout comme la manière dont les garde-fous de sécurité sont mis en œuvre pour les comptes adolescents.
Notamment, OpenAI n’a fait aucune annonce officielle concernant une telle fonctionnalité, alors prenez cette nouvelle avec la proverbiale pincée de sel. Mais quelques théories circulent sur la façon dont cela pourrait fonctionner. Justin Angel, un développeur bien connu dans la communauté Apple et Windows, a partagé sur X qu'il pourrait s'agir d'un mode protégé limitant la source d'informations aux documents de recherche médicale.
Par exemple, si vous demandez un avis médical lié à des problèmes ou à des symptômes de bien-être, ChatGPT ne donnera une réponse que sur la base des informations qu'il a extraites de sources médicales fiables. De cette façon, il y a moins de chances que ChatGPT donne des conseils trompeurs en matière de santé..
La dure réalité
L’idée derrière quelque chose comme le « mode clinicien » n’est pas trop farfelue. Il y a à peine un jour, Consensus a lancé une fonctionnalité appelée « Mode médical ». Lorsqu’une requête liée à la santé est posée, l’IA conversationnelle recherche des réponses « exclusivement sur des preuves médicales de la plus haute qualité », un corpus qui comprend plus de huit millions d’articles et des milliers de directives cliniques approuvées. L’approche semble sûre à première vue, mais les risques persistent.
Un article publié dans Scientific Reports le mois dernier, le journal a souligné les pièges de la promotion de ChatGPT dans le contexte médical. « Il faut faire preuve de prudence et informer les collègues et les patients concernant le risque d'hallucination. et l'incorporation de jargon technique qui peut rendre les résultats difficiles à interpréter », prévient le journal. Mais il semble que l'industrie s'oriente progressivement vers l'IA.
L'École de médecine de Stanford teste un logiciel basé sur l'IA appelé ChatEHR qui permet aux médecins d'interagir avec les dossiers médicaux de manière plus conversationnelle. OpenAI a également testé un « assistant médical d’IA » en partenariat avec Penda Health il y a quelques mois et a annoncé que l’outil réduisait les risques d’erreur de diagnostic de 16 %.
