Je me souviens quand Chatgpt Il est apparu pour la première fois, et la première chose que tout le monde a commencé à dire était «les écrivains sont réalisés». Les gens ont commencé à spéculer sur les sites d'actualités, les blogs et à peu près tous les contenus Internet écrits devenant générés par l'IA – et bien que ces prédictions me semblaient extrêmement, j'ai également été assez impressionné par le texte que GPT pourrait produire.
Naturellement, j'ai dû essayer le nouvel outil fantaisie pour moi-même, mais j'ai rapidement découvert que les résultats n'étaient pas aussi impressionnants qu'ils le semblaient. Avance rapide de plus de deux ans, et en ce qui concerne mon expérience et mes cas d'utilisation, rien n'a changé: chaque fois que j'utilise Chatgpt pour aider avec mon écriture, tout ce qu'il fait est de me ralentir et de me laisser frustré.
Pourquoi le chatppt ne fonctionne tout simplement pas pour moi
Chatgpt peut générer de très bonnes choses. Il peut produire un langage naturel, cohérent, voire plein d'esprit et intéressant. Mais la plupart des principaux exemples que vous avez tendance à voir proviennent d'invites extrêmement simples – le type «Écrivez un poème sur le shopping chez Walmart mais dans le style de William Shakespeare» invite que tout le monde faisait en 2023.
Je suis désolé, je ne peux tout simplement pas être cynique à propos d'une technologie qui peut y parvenir. pic.twitter.com/yjly72ez0m
– Thomas H. Ptacek (@TQBF) 2 décembre 2022
Lorsque vous demandez quelque chose comme ça, une partie de ce qui rend le résultat génial est qu'il est inattendu. Vous lui avez essentiellement demandé de vous surprendre, et dans la plupart des cas, il réussira.
Lorsque vous essayez d'utiliser Chatgpt pour un ancien travail d'écriture ennuyeux, en revanche, c'est une toute autre histoire. Tout d'abord, pour des pièces comme celle-ci, c'est inutile. Tout ce que j'écris maintenant concerne mes propres expériences et opinions – l'IA ne peut pas les écrire pour moi. Certaines personnes pourraient affirmer que cela pourrait vous aider à planifier, réfléchir ou affiner les arguments – mais je n'ai jamais voulu de l'aide avec ce genre de chose de toute façon.
Le type de travail pour lequel j'ai essayé d'utiliser Chatgpt était des blogs d'entreprise. Vous connaissez le type – les explicateurs, les how-tos et les articles de recommandation couvrant des sujets liés à l'entreprise et à ses produits (avec une subtile auto-promotion lancée également). Lorsque vous écrivez ce genre de chose, on vous donne souvent beaucoup d'exigences: un guide de style pour la langue et la grammaire, les mots clés à insérer, les sources à inclure, les sources à éviter et un contour de contenu avec les en-têtes, la structure et les points clés tous prédéfinis.
Si je voulais obtenir une copie utilisable, je ne pouvais pas simplement nourrir GPT une invite en une ligne et la laisser se déchaîner. J'ai donc essayé une structure qui ressemblait à ceci:
- Une invite préliminaire de «contexte» expliquant ce que j'écrivais et quel genre de choses que j'allais demander, ainsi qu'un exemple de paragraphe pour lui montrer le style de la langue que je voulais.
- Des invites suivantes avec des «contours de contenu» qui ont fourni un ou deux cap avec des puces sur ce qu'il faut couvrir.
Je ne demanderais jamais trop à la fois et comme je ne lui ai pas fait confiance pour ajouter des statistiques et des sources, je laisserais tout cela avec l'intention de le faire moi-même par la suite.
Mais autant que j'ai essayé de diviser le travail en petits morceaux et de donner des instructions très claires, je rencontrais toujours les mêmes problèmes:
- Chatgpt est terrible à écouter les instructions.
- Il a la mauvaise habitude de prendre les choses trop loin.
- Des informations incorrectes ou non pertinentes se faufilent assez souvent dans la copie.
- Son «style d'écriture» devient répétitif et cliché très rapidement.
- Lorsque l'un des problèmes ci-dessus se produit, il est presque impossible d'obtenir le LLM de réviser ou de corriger sa sortie avec succès.
Laissez-moi vous montrer ce que je veux dire.
1. C'est terrible à écouter les instructions
Lorsque vous essayez d'obtenir une sortie très spécifique de Chatgpt, vous devez donner des instructions spécifiques. Malheureusement, il semble que plus vous demandez de choses, plus le GPT est susceptible d'ignorer certains d'entre eux. Mes invites auraient des titres, des puces de contenu, des dénombrements de mots, des instructions de formatage et le chatbot devait également se souvenir des instructions de style dès le début de la session. J'ai essayé de nombreuses approches différentes pour simplifier les choses, mais je me suis toujours semblé que Chatgpt ne pouvait tout simplement pas gérer autant d'instructions.
Deux choses spécifiques avec lesquelles j'ai eu des problèmes étaient fréquemment des dénombrements de mots et des bullets. Le LLM m'a rarement donné le nombre de mots que j'ai demandés (me donnant généralement quelque chose de bien que de la manière), et il ne m'a jamais écouté quand j'ai dit que je faisais ou ne voulait pas de puces.
Parfois, c'est réparable – disons que je voulais 200 mots avec des puces, mais j'ai obtenu 300 mots sans puces. Il est assez rapide de couper quelques mots et de pousser des puces là-dedans. Malheureusement, j'avais toujours l'impression d'avoir eu les erreurs les plus difficiles à fixer.
Lorsque vous demandez 500 mots sans puces et obtenez 200 mots avec des puces – vous devez essentiellement faire le plus de travail vous-même.
2. Il a la mauvaise habitude de prendre les choses trop loin
Lorsque vous dites à Chatgpt que vous voulez quelque chose de spécifique, comme un langage amical ou un point de vue de la deuxième personne, il a tendance à s'accrocher à ces concepts et à devenir fou avec eux.
Le langage amical se transforme en langage de chat textuel complet avec les emoji, et la perspective à la deuxième personne se transforme en quelque sorte en questions et références excessives au lecteur afin qu'il puisse utiliser le pronom «vous» aussi souvent que possible.
Vous êtes également un peu coincé si vous voulez beaucoup de quelque chose comme des exemples ou des citations. Si vous dites simplement à GPT que vous voulez «beaucoup», «beaucoup» ou «beaucoup» de quelque chose, cela vous donnera probablement le double ou le triple du montant que vous voulez. Si vous lui donnez un numéro spécifique, il est susceptible de l'ignorer complètement et de vous donner quelque chose de aléatoire. En d'autres termes, vous pouvez à peine contrôler la sortie.
3. Des informations incorrectes ou non pertinentes se faufilent assez souvent dans la copie
Nous savons tous que l'IA «hallucine» et se trompe à des moments aléatoires – il arrive suffisamment pour vérifier chaque chose qu'il dit, ce qui prend beaucoup de temps et affecte le temps que vous pouvez économiser en l'utilisant.
Pour lutter contre cela, je n'ai jamais demandé des faits ou des chiffres. J'ai essayé plusieurs fois dès le début, mais le processus de vérification des faits est vraiment un slog, et j'ai rapidement cessé de me déranger.
Le problème est que GPT lancera des inexactitudes aléatoires dans ses réponses, que vous demandiez ou non des faits et des chiffres. Cela signifie que vous ne pouvez pas simplement vérifier à quel point la copie se lit ou si vous êtes satisfait des points qu'il essaie de faire – vous devez vérifier et considérer la validité de tout ce qu'elle dit. C'est une telle traînée.
Et comme je parle d'erreurs et d'hallucinations ici, je pourrais aussi bien mentionner le «pire des cas» aussi. Parfois, le LLM descend juste des railset bien que cela ne se produise pas tout le temps, quand il le fait – vous devez lancer cette session dans le bac et passer du temps à coller vos invites dans une nouvelle conversation et à recommencer. Je n'ai jamais vraiment vu Chatgpt devenir fou d'une manière particulièrement drôle personnellement, mais mon ami a eu ce joyau une fois:
4. Son «style d'écriture» devient répétitif et cliché très rapidement
Au début, il semble fou à quel point le chatgpt «humain» peut sonner. Mais comme vous l'utilisez de plus en plus, vous vous rendez compte que cela ne semble pas seulement humain, cela ressemble à «l'humain moyen».
Les ensembles de données d'OpenAI comprennent la plupart des millions d'articles Internet, les threads Reddit et les blogs personnels. Et je suis désolé de dire que beaucoup de ce contenu est une ordure totale. Mais parce que Chatgpt est formé dessus, il ramasse toutes les mauvaises habitudes les plus courantes.
Ainsi, lorsque vous générez beaucoup de texte avec Chatgpt, vous commencerez à remarquer que certaines structures et phrases de phrases se répétent beaucoup. Les deux pires coupables pour moi étaient ces deux structures de phrases:
- « De A et B à C et D, bla bla bla. » (Exemple: Dans le monde de Tiktok, il y a une place pour tout le monde – des amateurs de bricolage et des gourous de la beauté aux amoureux des animaux de compagnie et aux éducateurs.)
- « Que vous soyez A ou B, bla bla bla. » (Exemple: Que vous commenciez simplement ou que vous cherchiez à améliorer votre chaîne, l'utilisation de stratégies intelligentes pour créer un engagement authentique est la clé pour se démarquer.)
Chatgpt aime tellement ces deux structures de phrases que j'étais à peu près garanti d'en obtenir trois ou quatre à chaque session. Ces deux exemples provenaient même du même paragraphe de l'une de ses réponses. Et que la phrase «dans le monde de…» dans le premier exemple est une autre façon dont il aime vraiment démarrer une phrase. Tout cela est ennuyeux, cliché et ridiculement surutilisé (ce qui est, bien sûr, la raison même pour laquelle Chatgpt finit par les générer tellement). J'ai même essayé d'interdire expressément certaines phrases et types de phrases, en commençant chaque invite avec cette petite liste:
Les gens disent qu'il est presque impossible de dire du texte généré par l'AI de l'AI à partir de texte écrit sur l'homme de nos jours – mais je ne suis pas d'accord. Si vous avez essayé d'utiliser ces outils d'IA Vous-même et rencontré tous les problèmes et les mauvaises habitudes, vous apprenez à connaître beaucoup de signes révélateurs. Lorsque les gens mélangent le contenu d'IA avec des trucs écrits par l'homme et modifient fortement la majorité de la sortie de Chatgpt, vous pouvez le cacher complètement. Mais le contenu qui vient tout droit du modèle de langue et publié pratiquement tel quel – vous pouvez le dire. Vous pouvez le dire assez facilement.
5. Il est presque impossible d'obtenir le LLM pour réviser ou corriger sa sortie avec succès
La vraie rupture avec tout cela est lorsqu'un problème se produit, Chatgpt peut rarement le réparer seul. Chaque fois que les choses allaient mal, j'essayais une ou deux fois pour expliquer le problème et demander des révisions, mais cela n'a tout simplement pas fonctionné.
Si je demandais le bon nombre de mots, la plupart du temps, j'obtiendrais à nouveau le même nombre de mots. Si je lui demandais de me débarrasser des puces, cela dirait «Bien sûr!» Et puis donnez-moi plus de puces. Si je lui demandais d'ajuster le ton ou le style, cela aurait du mal à appliquer le changement à travers le tableau, et je finirais avec un mélange étrange des deux.
Peut-être que si vous n'arrêtiez pas de répliquer et de régénérer les réponses de Chatgpt, vous vous rapprocheriez de ce que vous vouliriez éventuellement. Le problème pour moi est que je suis écrivain – et l'utilisation de Chatgpt m'oblige à remplir le rôle de l'éditeur à la place.
Ce n'est probablement pas un problème pour tout le monde – beaucoup d'écrivains font également un peu d'édition dans le cadre de leur travail, mais cela me dérange vraiment. Je déteste modifier le travail des autres et je déteste éditer la production de GPT.
Quant à la fréquence à laquelle les choses ont mal tourné – lorsque chaque session dure plusieurs heures avec plus de 30 invites, vous frappez presque toujours un accroc quelque part.
Le résultat: j'ai abandonné
J'ai essayé pendant quelques bons mois pour apprendre à obtenir un certain usage de Chatgpt en 2023 et j'y suis allé après des mises à jour majeures au cours des deux prochaines années – mais mon expérience n'a jamais changé. J'ai également essayé d'autres LLM, mais même les nouveaux modèles de «raisonnement» qui excluent le monologue intérieur avant de répondre ont encore les mêmes problèmes d'utilisation.
Modèles LLM actuels N'accélérez pas le processus d'écriture pour moi – tout ce qu'ils font est de me forcer à passer du temps à faire ce que je déteste au lieu de simplement consacrer du temps à ce que j'aime. Si vous détestez l'écriture et que vous ne voulez jamais le faire, Chatgpt peut très certainement vous aider. Mais si l'écriture est un passe-temps pour vous ou ce que vous avez choisi de faire comme vie, cette chose vous rendra probablement fou.
En fin de compte, je n'ai jamais publié tout ce que l'on pourrait appeler «Généré par l'AI». Chaque fois que j'essayais, comme ils disent, «l'intégrer dans mon flux de travail», je finirais par me fronquer la tête contre le mur, perdre beaucoup de temps, puis fermer la chose quand j'ai réalisé que je n'avais rien obtenu et que ma date limite était juste au coin de la rue.
