ChatGPT en PME : 4 erreurs qui brident la qualité de vos réponses

Depuis son lancement en novembre 2022, ChatGPT a décuplé la productivité de certains professionnels, et a fait perdre des dizaines, voire des centaines d’heures à d’autres. Certains y voient aujourd’hui un accélérateur de performance, d’autres une source de frustration, d’autres encore un outil aléatoire dont l’utilité varie selon les jours, voire les heures.

Pour vous aider à en tirer le maximum, la rédaction de DFM revient sur 4 mauvaises pratiques qui brident la qualité des réponses du chatbot d’OpenAI. C’est parti !

#1 Continuer une discussion où la limite des tokens a été atteinte

Chaque fenêtre ou session ChatGPT dispose d’une mémoire limitée. En clair, chaque échange (vos questions, les réponses générées et tout le contexte de la conversation) est transformé en une suite de « tokens », c’est-à-dire des unités de texte (morceaux de mots ou mots entiers).

Le modèle ne peut traiter qu’un certain volume cumulé de ces tokens par session, généralement entre 16 000 et 32 000 selon la version. Passé ce seuil, il commence à « oublier » ce qui s’est dit plus tôt, car il doit faire de la place pour les éléments qui s’ajoutent au fur et à mesure. Voici ce que vous allez observer :

• Les réponses deviennent génériques ;
• ChatGPT oublie des éléments de contexte plus ou moins importants ;
• Il s’écarte de votre brief ;
• Il se répète et peut tourner en boucle ;
• Il hallucine en vous donnant de fausses informations, voire des absurdités.

Malheureusement, aucun message ne vient vous alerter sur l’atteinte ou le dépassement de la limite de tokens. C’est à l’utilisateur de repérer les signes.

OpenAI ne fournit aucune documentation officielle sur ce phénomène. Il est pourtant incontestable. Il suffit de suivre les discussions sur le subreddit d’OpenAI pour le voir (par exemple ici ou ici), ou de parcourir l’étude « Lost in the Middle: How Language Models Use Long Contexts » qui montre que les modèles LLM ont du mal à mobiliser l’information au milieu de longs contextes.

💡 Que faire ?

Si vous vous retrouvez dans ce cas, inutile d’insister. Ouvrez tout simplement une nouvelle fenêtre et relancez une nouvelle session. Si besoin, créez un fichier .txt avec les éléments importants de la discussion précédente pour alimenter la nouvelle session.

#2 Uploader des fichiers trop lourds (sans optimiser leur format)

Tous les formats ne se valent pas lorsqu'il s'agit d'alimenter ChatGPT. Le choix du format détermine si l'IA comprendra 100 % ou seulement 60 % de votre contenu, et si vous épuiserez votre limite de tokens en 10, 30 ou 100 messages.

En réalité, deux documents identiques sur le fond peuvent produire des résultats très différents selon qu’ils sont envoyés en .txt, .docx ou .pdf natif ou .pdf scanné. Plus le fichier est encombré d’éléments visuels et décoratifs (en-têtes, polices différentes, images…), plus il consommera de tokens, et plus vite il atteindra le stade « amnésique » décrit dans le premier point.

💡 Que faire ?

Dans la mesure du possible, évitez les formats qui ont des mises en page riches et gourmandes. Copiez les éléments de votre brief dans un fichier .txt, structuré à la main si besoin (titres numérotés, paragraphes séparés). Vous réduisez le bruit et allongez la durée de « lucidité » de l’IA.

#3 Forcer dans les jours où le chatbot est « en sous-performance »

Oui, ChatGPT peut avoir un mauvais jour. Et dans ces moments-là, il n’y a malheureusement pas grand-chose à faire, si ce n’est tenter sa chance sur Claude ou Gemini. Vous pouvez reformuler vos prompts, ouvrir une nouvelle session, améliorer le format de vos fichiers… la qualité restera médiocre.

Mais que signifie « un mauvais jour » pour le chatbot, qui n’est au final qu’un programme informatique ? Plusieurs choses :

• Surcharge des serveurs, avec une baisse de la fenêtre de contexte et/ou de la puissance de calcul ;
• Vous vous êtes connecté pendant les heures de bureau aux États-Unis (plus gros risque de surcharge) ;
• OpenAI a constaté des bugs et travaille pour les rectifier, ce qui consomme des ressources ;
• Mises à jour en cours du modèle LLM ;
• Déploiement progressif d’une nouvelle version, etc.

#4 Confier à ChatGPT une tâche massive en une fois

Demander à ChatGPT de rédiger un rapport entier, un livre blanc ou un roman, et vous obtiendrez du contenu générique, creux, parfois absurde. ChatGPT dispose d'une « puissance de traitement » fixe par réponse. Sur un document de 10 sections demandé d'un bloc, cette puissance se dilue. Pour schématiser, chaque section reçoit 10 % d'attention.

La solution : décomposez vos requêtes en « unités minimales ». Pour un article, par exemple, commencez par travailler le plan (avec ou sans l’IA). Notez-le dans un fichier .txt. Ensuite, attaquez section par section avec l’IA, et briefez ChatGPT pour chaque section séparément. Si le contenu vous semble encore une fois trop fade ou de mauvaise qualité, fractionnez davantage : paragraphe par paragraphe.

Cette approche va forcément vous demander plus de temps (et vous atteindrez plus vite la limite de tokens), mais c’est le seul moyen de maximiser la qualité des réponses.

DFM met l’IA au service de la performance de votre PME

L’IA peut vous faire gagner du temps, de la qualité et des points de croissance… à condition de bien cartographier les processus automatisables de votre activité, de choisir le bon stack technique (GPT-4, Claude, Mistral, solutions sur mesure...) et d’installer les bons garde-fous (validation humaine, protection des données, contrôle qualité…).

Pour aider les PME à exploiter le plein potentiel de l’IA au service de leur performance, DFM a mis au point une offre IA en trois volets :

• La formation des équipes aux bons usages (initiation + approfondissement), un projet finançable jusqu’à 100 % par votre OPCO ;
• L’audit IA pour identifier où l’IApeut être injectée dans vos process, un projetfinançable jusqu’à 42 % par Bpifrance ;
• L’accompagnement personnalisé et le développement de solutions IA sur mesure adaptées à votre métier, à vos contraintes et à vos outils.

Vous avez le savoir-faire, l’expérience, les talents et les données. DFM vous aide à les doper à l’IA. Parlons-en. ⬇️