« Expliquez-moi comme un élève de cinquième année. » Cela, ou une variation de cette invite, apparaît souvent dans les cercles de médias sociaux discutant des avantages de l'IA pour expliquer des sujets complexes de la manière la plus simple possible. C'est également l'un des meilleurs exemples d'utilisation de l'IA dans le secteur de l'éducation. Mais selon les experts, vous ne voulez pas compter pleinement sur des outils d'IA tels que le chatppt pour résumer la recherche scientifique et les articles.
Quelle est la vue d'ensemble?
Les documents de recherche sont notoirement chargés de termes techniques et de langage ouvertement complexe, ce qui rend difficile pour une personne moyenne de comprendre les percées décrites dans ces articles. C'est là que les journalistes scientifiques entrent en scène, écrivant des articles condensés sur ces réalisations et progrès dans une langue facile à comprendre.
Les mêmes personnes ont maintenant détaillé comment l'utilisation de Chatgpt pour résumer les articles scientifiques est une mauvaise idée. Les gens du bureau de presse de la Science Journal et de l'équipe de package de presse scientifique (SCIPAK) ont commencé à tester Chatgpt Plus pour voir s'il peut transmettre avec précision des informations sur un ton plus simple.
Après un an de tests, l'équipe a constaté que les résumés générés par Chatgpt «la précision du sacrifice pour la simplicité» et nécessitaient «une édition approfondie pour l'hyperbole». « Chatgpt Plus avait un penchant pour utiliser le mot révolutionnaire », a constaté l'équipe. Fait intéressant, certains mots sont notoirement surutilisés par les chatbots d'IA, et ils affectent désormais la façon dont nous parlons dans notre vie quotidienne.
Quelle est la clé à retenir?
Dans le cadre du test, l'équipe a utilisé la version payante de Chatgpt pour écrire trois résumés uniques de deux articles de recherche chaque semaine. Ces résumés ont ensuite été évalués par des écrivains humains. Chatgpt n'était pas un échec total, mais cela s'est mal résisté aux nuances qui sont extrêmement importantes dans le domaine de la recherche et de la communication scientifiques.
«Il ne peut pas synthétiser ou traduire les résultats pour des publics non experts», explique le livre blanc discutant du test, ajoutant que le chatbot est sujet à la surplomb, ne peut pas expliquer pleinement les limites et ne s'en va pas bien lorsqu'elle doit discuter de deux événements de recherche dans le même contexte.
Un écrivain humain a fait remarquer que les résumés de Chatgpt briseraient beaucoup de confiance. « Il a finalement fait défaut au jargon s'il est mis au défi par des recherches particulièrement denses dans les informations, les détails et la complexité », écrit Abigail Eisenstadt, écrivain pour Press Package et membre de l'AAAS (American Association for the Advancement of Science).
(Divulgation: Nadeem Sarwar est membre des AAAS, mais ne contribue pas à la science)
