Les modèles deviennent-ils vraiment moins bons — ou est-ce nous ?

Tous les quelques mois, la même vague. Quelqu'un écrit « GPT est devenu plus bête », quelqu'un d'autre « Claude s'est fait lobotomiser », quelqu'un poste deux captures côte à côte et réclame le checkpoint de mars. Les forums se remplissent. Puis un nouveau modèle sort, le monde va bien pendant deux semaines — jusqu'à ce que la phrase revienne.

Je connais le sentiment. Je l'ai moi-même, régulièrement, sur des projets clients. Ma thèse la moins confortable : souvent, ce ne sont pas les modèles qui empirent. Souvent, c'est nous qui devenons plus paresseux. Et de façon frappante, pile au moment où les modèles s'améliorent et où nous leur faisons davantage confiance.

La réponse courte

Les deux existent. Les fournisseurs changent le routage, la précision, les filtres de sécurité, la répartition de charge — et oui, cela change le comportement, parfois de façon nette, parfois en silence. Mais la boucle que je vois le plus souvent dans mon propre travail est celle-ci :

Le modèle s'améliore. Nous lui faisons davantage confiance. Les prompts raccourcissent. Le résultat devient plus flou. Nous concluons : le modèle a empiré.

L'erreur est commode : elle pose la responsabilité là où nous n'avons pas à la porter.

Ce qui bouge vraiment du côté fournisseur

À l'été 2023, Lingjiao Chen, Matei Zaharia et James Zou, de Stanford et Berkeley, ont fait tourner le même GPT-4 et le même GPT-3.5 en mars et en juin. Le résultat : le même produit, un autre mois, un autre comportement. GPT-4 a nettement empiré sur les nombres premiers et sur le code exécutable ; GPT-3.5 a nettement progressé sur les mêmes premiers. La disposition à suivre une instruction s'est déplacée. L'étude a été critiquée à juste titre. Une partie de l'effondrement venait du modèle qui avait cessé de réfléchir à voix haute, et l'évaluation pénalisait précisément cela. La phrase utile a tenu quand même : un service qui porte le même nom n'est pas un objet fixe.

OpenAI a d'abord minimisé. Peter Welinder, VP Produit, a écrit : non, ils n'avaient pas rendu GPT-4 plus bête. Hypothèse du moment : plus on l'utilise intensément, plus on remarque des problèmes qu'on ne voyait pas avant. Ce n'est pas tout à fait faux, mais ce n'est pas non plus toute l'histoire. Quelques jours plus tard, l'étude de Stanford était publique. OpenAI a reconnu que des tâches précises peuvent empirer lors d'une mise à jour même si la moyenne monte.

Deux ans plus tard, Anthropic a fait quelque chose de rare dans ce secteur : un post-mortem. Entre août et début septembre 2025, trois bugs d'infrastructure ont dégradé Claude par intermittence. Pas un modèle low-cost secret. Une erreur de routage envoyait des requêtes Sonnet 4 vers des serveurs configurés pour une autre fenêtre de contexte, 16 pour cent des requêtes à la pire heure. À cause du « sticky routing », si vous étiez touché, vous restiez souvent sur les mauvais serveurs. Plus une corruption de sortie sur TPU et un bug de compilateur. Anthropic l'a écrit noir sur blanc : nous ne baissons jamais la qualité du modèle à cause de la demande, de l'heure ou de la charge. Qu'ils aient dû le dire en dit long sur le problème de confiance.

Ce qu'il faut en faire est plus sec que la théorie du complot. Les poids de l'entraînement ne sont pas le chemin jusqu'aux poids. Entre les deux : quantification, routage mixture-of-experts, un mélange de matériel GPU, TPU et puces maison, équilibrage de charge, filtres de sécurité. N'importe laquelle de ces couches peut bouger sans que le nom dans le sélecteur change. Pour cela, pas besoin de mauvaise intention. L'inférence est assez chère pour qu'un service qui, sous charge, répond « un peu plus à l'économie » ait une incitation que le benchmark ne voit pas.

« Le modèle », en pratique, c'est souvent ChatGPT un mardi après-midi. Ce n'est pas un modèle, c'est un produit.

Ce qui bouge de notre côté

La partie dont on écrit le moins est celle que je vois le plus.

Un nouveau modèle sort. La première semaine, j'écris encore comme avant : contexte, exemples, ce que « fini » veut dire, ce qui n'a pas sa place dans le fichier. Ça marche étonnamment bien. À la troisième semaine, la lettre est devenue une ligne. « Refais ça, mais plus propre. » « Fix this. » « Vous voyez ce que je veux dire. » Le modèle a le fil, donc je coupe. Puis le résultat devient mou, générique, un peu à côté — et je m'aperçois que je faisais davantage confiance à la chose il y a deux mois.

Ce n'est pas un hasard : plus le modèle est bon, moins on sent de résistance à omettre. La confiance rend facile de ne plus penser la consigne.

S'y ajoutent quatre déplacements qui ressemblent à une perte de qualité sans qu'un seul poids n'ait bougé.

Nous demandons plus dur. Ce qui était un tour de force il y a un an — renommer un fichier, réécrire un texte — est aujourd'hui le plancher. Nous envoyons au modèle toute la base de code, toute la négociation, toute la stratégie, et nous nous étonnons qu'il ne réponde plus « aussi clair ». La barre a bougé avec nous, mais le saut reste invisible et seule la chute se voit.

Nous laissons le chat tourner. Un travail de Microsoft Research et Salesforce en 2025 a montré que les mêmes tâches, étalées sur plusieurs tours sous-spécifiés, sortent en moyenne environ 39 pour cent moins bien que dans un seul prompt complet. Une fois que le modèle prend un mauvais virage, il ne retrouve pas son chemin. C'est ainsi que la plupart des gens travaillent : d'abord une ligne vague, puis des corrections, puis « non, autrement », dans un fil ouvert depuis mardi.

Nous nous habituons au niveau. Les progrès deviennent le nouveau zéro, les reculs se vivent comme une trahison. C'est ainsi que fonctionne la perception, et cela n'a pas grand-chose à voir avec l'IA.

Nous désapprenons la consigne. Le GPS n'a pas aboli la mémoire spatiale, mais il l'a rendue facultative pour beaucoup de gens. Un modèle qui tire encore quelque chose de plausible d'une mauvaise ligne récompense exactement cela. Dans Nature, en 2024, des chercheurs ont décrit que les modèles plus grands et plus dociles disent moins souvent « je ne sais pas » et renvoient plus souvent une réponse apparemment raisonnable et fausse. Pour les prompts paresseux, c'est l'habitat idéal : il revient toujours quelque chose et ça sonne bien. Ce n'est seulement souvent pas ce dont on avait besoin — et on s'en aperçoit quand ça devient cher.

« Le modèle est devenu plus bête » est alors l'explication la plus commode pour une relation où l'une des parties a cessé de former des phrases.

Comment distinguer les deux cas

Vous n'avez pas à me croire, vous pouvez tester.

Prenez trois à cinq prompts qui tenaient vraiment bien il y a un ou deux mois. Les mêmes mots, un nouveau chat.

Si les anciens prompts tiennent encore et pas vos phrases d'aujourd'hui : c'est vous qui avez bougé. Si les anciens tombent aussi : c'est la pile qui a bougé. Si seul le long fil est mauvais et pas le chat neuf : vous êtes perdu dans la conversation, pas dans le modèle.

En production, la même règle, juste avec une date : un snapshot d'API épinglé est vérifiable, le nom dans l'interface de chat ne l'est pas.

Ce qui n'aide pas : deux captures de semaines différentes, de fils différents, de tâches différentes, puis un verdict sur l'intelligence du fournisseur. Cela mesure une humeur, pas un modèle.

Ce que j'en fais

Je ne traite pas la confiance comme un réglage par défaut.

Le prompt est la consigne. Si je ne la donnerais pas ainsi à un junior, je ne la donne pas ainsi au modèle. Les exemples battent les adjectifs, et « vous voyez ce que je veux dire » n'est pas du contexte.

Quand la qualité compte dans un produit, on épingle la version. Les surfaces de chat servent à penser, pas à faire tourner la production.

Quand ça se sent moins bon, je ne change pas de modèle en premier. J'envoie l'ancien prompt soigné dans un chat neuf. Ce n'est que lorsqu'il tombe aussi qu'un sentiment devient un diagnostic.

Et oui : parfois le diagnostic est vraiment le fournisseur. Des bugs, du routage, une mise à jour qui sacrifie une tâche pour en améliorer dix autres. Ça arrive, et ça arrivera encore. C'est seulement moins souvent toute l'histoire que ça n'en a l'air — surtout la semaine où l'on a commencé à devoir au modèle des phrases entières et à ne plus lui envoyer qu'une ligne.

Si vous êtes exactement dans ce moment « avant, c'était mieux » et que vous hésitez entre tordre le prompt ou la pile, écrivez-moi. Parfois la réponse est « votre prompt est le problème », et celle-là est gratuite.