Werden die Modelle wirklich schlechter — oder wir?

Alle paar Monate dieselbe Welle. Irgendwer schreibt «GPT ist dümmer geworden», irgendwer «Claude wurde lobotomiert», irgendwer postet zwei Screenshots nebeneinander und ruft nach dem Checkpoint von März. Die Foren füllen sich. Dann kommt ein neues Modell, zwei Wochen lang ist die Welt wieder in Ordnung — bis der Satz zurückkehrt.

Ich kenne das Gefühl. Ich habe es selbst, regelmässig, in Kundenprojekten. Meine unbequemere These: Oft werden nicht die Modelle schlechter. Oft werden wir fauler. Und zwar auffällig oft genau dann, wenn die Modelle besser werden und wir ihnen mehr zutrauen.

Die kurze Antwort

Beides kommt vor. Provider ändern Routing, Präzision, Sicherheitsfilter, Lastverteilung — und ja, das ändert das Verhalten, manchmal spürbar, manchmal still. Aber der Kreislauf, den ich in der eigenen Arbeit am häufigsten sehe, läuft so:

Das Modell wird besser. Wir vertrauen ihm mehr. Die Prompts werden kürzer. Das Ergebnis wird unschärfer. Wir schliessen: das Modell ist schlechter geworden.

Der Fehlschluss ist bequem: Er legt die Verantwortung dorthin, wo wir sie nicht selbst halten müssen.

Was auf der Provider-Seite wirklich passiert

Im Sommer 2023 haben Lingjiao Chen, Matei Zaharia und James Zou von Stanford und Berkeley dasselbe GPT-4 und dasselbe GPT-3.5 im März und im Juni gegeneinander laufen lassen. Das Ergebnis: dasselbe Produkt, anderer Monat, anderes Verhalten. GPT-4 wurde bei Primzahlen und bei ausführbarem Code deutlich schlechter, GPT-3.5 bei denselben Primzahlen deutlich besser. Die Bereitschaft, einer Anweisung zu folgen, verschob sich. Die Studie wurde zu Recht kritisiert. Ein Teil des Einbruchs kam daher, dass das Modell aufhörte, laut zu denken. Die Auswertung bestrafte genau das. Der brauchbare Satz blieb trotzdem: ein Dienst mit demselben Namen ist kein festes Objekt.

OpenAI hat damals erst einmal abgewiegelt. Peter Welinder, VP Product, schrieb: Nein, man habe GPT-4 nicht dümmer gemacht. Die aktuelle Hypothese: Wer es intensiver nutzt, merkt Probleme, die vorher unsichtbar waren. Das ist nicht ganz falsch, aber auch nicht die ganze Geschichte. Ein paar Tage später lag die Stanford-Studie öffentlich. OpenAI räumte ein, dass einzelne Aufgaben bei einem Update schlechter werden können, auch wenn der Durchschnitt steigt.

Zwei Jahre danach hat Anthropic etwas getan, das in dieser Branche selten ist: ein Postmortem geschrieben. Zwischen August und Anfang September 2025 haben drei Infrastruktur-Bugs Claude zeitweise verschlechtert. Kein geheimes Sparmodell. Ein Routing-Fehler hat Sonnet-4-Anfragen auf Server für ein anderes Kontextfenster geschickt, in der schlechtesten Stunde 16 Prozent der Requests. Wegen «sticky routing» blieb man als Betroffener dann oft auf dem falschen Server. Dazu Output-Korruption auf TPUs und ein Compiler-Fehler. Anthropic hat ausdrücklich geschrieben: Wir senken die Modellqualität nicht wegen Nachfrage, Tageszeit oder Last. Dass sie das sagen mussten, sagt etwas über das Vertrauensproblem.

Was man daraus machen sollte, ist nüchterner als die Verschwörung. Die Gewichte im Training sind nicht dasselbe wie der Weg zu den Gewichten. Dazwischen liegen Quantisierung, Mixture-of-Experts-Routing, ein Hardware-Mix aus GPUs, TPUs und eigenen Chips, Lastverteilung, Sicherheitsfilter. Jede dieser Schichten kann sich bewegen, ohne dass sich der Name in der Modellauswahl ändert. Dafür braucht es keine böse Absicht. Inference ist teuer genug, dass ein Dienst, der unter Last «ein bisschen sparsamer» antwortet, einen Anreiz hat, den der Benchmark nicht sieht.

«Das Modell» ist in der Praxis oft ChatGPT an einem Dienstagnachmittag. Das ist kein Modell, das ist ein Produkt.

Was auf unserer Seite passiert

Der Teil, über den weniger geschrieben wird, ist der, den ich häufiger sehe.

Ein neues Modell kommt raus. Die erste Woche schreibe ich noch wie früher: Kontext, Beispiele, was «fertig» heisst, was nicht in die Datei gehört. Es funktioniert auffällig gut. In der dritten Woche ist aus dem Brief eine Zeile geworden. «Mach das nochmal, aber sauberer.» «Fix this.» «Du weisst schon.» Das Modell kennt den Thread, also kürze ich. Dann wird das Ergebnis weich, generisch, ein bisschen vorbei — und ich merke, dass ich dem Ding vor zwei Monaten mehr zugetraut habe.

Das ist kein Zufall: Je besser das Modell, desto weniger Widerstand spürt man beim Weglassen. Vertrauen macht es leicht, den Auftrag nicht mehr zu denken.

Dazu kommen vier Verschiebungen, die sich wie Qualitätsverlust anfühlen, ohne dass sich eine einzige Gewichtszahl bewegt hat.

Wir fragen Schwereres. Was vor einem Jahr eine Heldentat war — eine Datei umbenennen, einen Text umschreiben — ist heute die Untergrenze. Wir schicken dem Modell die ganze Codebasis, die ganze Verhandlung, die ganze Strategie — und wundern uns, dass es nicht mehr «so klar» antwortet. Die Latte ist mitgewandert, aber der Sprung bleibt unsichtbar und nur der Fehltritt fällt auf.

Wir lassen den Chat laufen. Eine Arbeit von Microsoft Research und Salesforce hat 2025 gezeigt, dass dieselben Aufgaben, über mehrere unvollständige Turns verteilt, im Schnitt rund 39 Prozent schlechter ausfallen als in einem einzigen, vollständigen Prompt. Wenn das Modell einmal falsch abbiegt, findet es nicht zurück. Genau so arbeiten die meisten Leute: erst eine vage Zeile, dann Korrekturen, dann «nein, anders», in einem Thread, der seit Dienstag offen ist.

Wir gewöhnen uns an das Niveau. Verbesserungen werden zur neuen Null, Rückschritte fühlen sich an wie Verrat. So funktioniert Wahrnehmung, das hat mit KI wenig zu tun.

Wir verlernen den Auftrag. GPS hat das räumliche Gedächtnis nicht abgeschafft, aber es hat es für viele Leute entbehrlich gemacht. Ein Modell, das auch aus einer schlechten Zeile etwas Plausibles macht, belohnt genau das. In Nature haben Forschende 2024 beschrieben, dass grössere, gefügigere Modelle seltener sagen «das weiss ich nicht» und häufiger eine scheinbar vernünftige, falsche Antwort liefern. Für faule Prompts ist das die ideale Umgebung: Es kommt immer etwas zurück und es klingt gut. Nur ist es oft nicht das, was man gebraucht hätte — und das merkt man erst, wenn es teuer wird.

Der Satz «das Modell ist dümmer geworden» ist dann die bequemste Erklärung für eine Beziehung, in der eine Seite aufgehört hat, Sätze zu bilden.

Wie du die beiden Fälle unterscheidest

Du musst das nicht glauben, du kannst es testen.

Nimm drei bis fünf Prompts, die vor ein, zwei Monaten wirklich gut gesessen haben. Dieselben Wörter, neuer Chat.

Wenn die alten Prompts noch sitzen und deine heutigen Einzeiler nicht: Du hast dich bewegt. Wenn die alten auch kippen: Der Stack hat sich bewegt. Wenn nur der lange Thread schlecht ist, der frische Chat aber nicht: Du bist im Gespräch verloren, nicht im Modell.

In Produktion gilt dasselbe, nur mit Datum: Ein angepinnter API-Snapshot ist überprüfbar, der Name in der Chat-Oberfläche nicht.

Was nicht hilft: zwei Screenshots aus verschiedenen Wochen, verschiedene Threads, verschiedene Aufgaben — und dann der Schluss auf die Intelligenz des Anbieters. Das misst eine Stimmung, kein Modell.

Was ich daraus mache

Ich behandle Vertrauen nicht als Voreinstellung.

Der Prompt ist der Auftrag. Wenn ich ihn einem Junior nicht so geben würde, gebe ich ihn dem Modell nicht so. Beispiele schlagen Adjektive — und «du weisst schon» ist kein Kontext.

Wenn Qualität in einem Produkt zählt, pinnen wir die Version. Chat-Oberflächen sind zum Denken da, nicht zum Betreiben.

Wenn es sich schlechter anfühlt, wechsle ich nicht als Erstes das Modell. Ich schicke den alten, sorgfältigen Prompt in einen neuen Chat. Erst wenn der auch kippt, wird aus einem Gefühl eine Diagnose.

Und ja: Manchmal ist die Diagnose dann wirklich der Anbieter. Bugs, Routing, ein Update, das eine Aufgabe opfert, damit zehn andere besser werden. Das kommt vor und es wird wieder vorkommen. Es ist nur seltener die ganze Geschichte, als es sich anfühlt — besonders in der Woche, in der man angefangen hat, dem Modell ganze Sätze zu schulden und ihm nur noch eine Zeile zu schicken.

Falls du gerade in genau so einem «früher war das besser»-Moment steckst und unsicher bist, ob du am Prompt oder am Stack drehen sollst: schreib mir. Manchmal lautet die Antwort «dein Prompt ist das Problem» — und die kostet nichts.