Es hätte ein Triumph werden sollen: Am 9. Juni veröffentlichte Anthropic mit Claude Fable 5 wie berichtet das erste allgemein verfügbare Modell seiner neuen „Mythos“-Klasse – jener Modellgeneration, die das Unternehmen monatelang als zu gefährlich für eine öffentliche Freigabe eingestuft hatte. Doch statt Jubel gab es binnen Stunden einen mittelgroßen Transparenz-Skandal. Der Auslöser: ein Absatz tief in der 319 Seiten starken System Card des Modells.

Was passiert ist: Heimlich verschlechterte Antworten

Anthropic hatte Fable 5 mit einer Reihe von Sicherheitsmaßnahmen für „Hochrisiko-Anfragen“ ausgestattet. In den meisten dieser Bereiche – etwa Cybersecurity, Biologie und Chemie – leitet das System heikle Anfragen automatisch an das ältere Modell Claude Opus 4.8 weiter, und die Nutzer:innen werden darüber informiert.

Anders aber bei einem Bereich: der sogenannten Distillation. Dabei handelt es sich um eine Technik, mit der kleinere AI-Modelle anhand der Outputs größerer Modelle trainiert werden – ein gängiges Verfahren in der AI-Entwicklung, das aber auch von Konkurrenten genutzt werden kann, um die Fähigkeiten eines Spitzenmodells quasi „abzusaugen“.

Erkannte Fable 5 eine Anfrage als mutmaßlichen Distillation-Versuch, wurden die Antworten direkt verändert und verschlechtert – ohne jeden Hinweis an die Nutzer:innen. In der System Card beschrieb Anthropic die Methoden offen: Prompt-Modifikation, Steering Vectors oder parameter-effizientes Fine-Tuning (PEFT) sollten die Effektivität des Modells gezielt begrenzen. „Anders als bei unseren Interventionen für Cybersecurity, Biologie und Chemie werden diese Safeguards für die Nutzer nicht sichtbar sein“, hieß es dort.

Wer kritisiert hat

Die Reaktion der AI-Community ließ nicht lange auf sich warten. Nur Stunden nach dem Release brach auf Social Media massive Kritik von AI-Forschern, Entwicklern und Policy-Experten los. Der Vorwurf, der schnell die Runde machte: „Secret Sabotage“ – heimliche Sabotage der eigenen Nutzer:innen, wie es das US-Magazin Fortune in seiner Berichterstattung zusammenfasste.

Der bekannte AI-Forscher Ethan Caballero schrieb auf X, die Fable-5-Drosselung für AI-Research habe „die wütendste Reaktion von AI-Forschern“ ausgelöst, die er je gesehen habe. Auch Andrej Karpathy – OpenAI-Mitgründer, Ex-Tesla-AI-Chef und seit Mai bei Anthropic – nannte das Modell zwar einen „super spannenden Release“, räumte aber öffentlich ein, dass die Safeguards „etwas zu schnell auslösen“ und nachjustiert werden müssten.

Parallel dazu beklagte die Cybersecurity-Community, dass Fable 5 für defensive Sicherheitsarbeit praktisch unbrauchbar sei: Da Anfragen zu Schwachstellen automatisch auf das schwächere Opus 4.8 zurückfallen, könnten Sicherheitsforscher ausgerechnet das leistungsfähigste Modell nicht für ihre Kernaufgabe nutzen – Sicherheitslücken zu finden, bevor es Angreifer tun. Pikant: Die verwandten Mythos-Modelle hatten in Tests im April über 23.000 kritische Schwachstellen in großen Code-Repositories identifiziert.

Die Entschuldigung: „Wir haben den falschen Trade-off gemacht“

Anthropic reagierte schnell – und ungewöhnlich deutlich. „Wir haben den falschen Trade-off gemacht und entschuldigen uns dafür, dass wir die Balance nicht richtig getroffen haben“, erklärte das Unternehmen gegenüber Wired. Die unsichtbare Schutzmaßnahme gegen Distillation wird abgeschafft.

Stattdessen werden Distillation-Anfragen künftig genauso behandelt wie die anderen Hochrisiko-Bereiche: Sie fallen auf Claude Opus 4.8 zurück, und die Nutzer:innen werden prominent darüber informiert. „Ihr werdet das jedes Mal sehen, wenn es passiert“, versprach Anthropic in einem Posting auf X. Das Unternehmen hatte nach eigenen Schätzungen erwartet, dass die Maßnahme ohnehin nur rund 0,03 Prozent des Traffics betreffen würde – was die Frage aufwirft, warum man das Reputationsrisiko überhaupt eingegangen ist.

Der Zeitpunkt ist für Anthropic denkbar heikel: Erst gut eine Woche vor dem Fable-Launch hatte das Unternehmen vertraulich seine IPO-Unterlagen eingereicht. Ein Transparenz-Skandal ist das Letzte, was ein Unternehmen auf dem Weg an die Börse brauchen kann.

Was sind Guardrails eigentlich?

Guardrails – wörtlich „Leitplanken“ – sind Schutzmechanismen, die das Verhalten von AI-Modellen einschränken sollen. Sie verhindern, dass ein Modell schädliche, gefährliche oder unerwünschte Inhalte ausgibt – etwa Anleitungen zum Bau von Waffen, Hilfe bei Cyberangriffen oder Informationen zu Biowaffen.

Technisch gibt es dafür verschiedene Ansätze: Klassifikatoren erkennen problematische Anfragen und blockieren sie oder leiten sie um. Beim Training selbst wird dem Modell beigebracht, bestimmte Anfragen abzulehnen. Und – wie der Fall Fable 5 zeigt – Antworten können auch nachträglich verändert oder gedrosselt werden, etwa durch Prompt-Modifikation oder Steering Vectors, die das Modellverhalten intern in eine bestimmte Richtung lenken.

Üblicherweise sind Guardrails für Nutzer:innen erkennbar: Das Modell verweigert eine Antwort, weist auf Richtlinien hin oder erklärt, dass eine Anfrage umgeleitet wurde. Genau hier lag das Problem bei Fable 5: Die Distillation-Guardrails arbeiteten im Verborgenen. Nutzer:innen bekamen schlechtere Antworten, ohne es zu wissen – und konnten damit auch nicht einschätzen, ob sie den Ergebnissen trauen können. Für Forscher, die mit den Outputs arbeiten, ist das ein fundamentales Problem: Wissenschaft braucht verlässliche, nachvollziehbare Werkzeuge.

Der Fall zeigt ein Dilemma, vor dem alle Frontier-AI-Labs stehen: Je leistungsfähiger die Modelle, desto größer das Missbrauchspotenzial – und desto stärker der Druck, Schutzmaßnahmen einzubauen. Gleichzeitig erwarten zahlende Kund:innen und die Forschungs-Community volle Transparenz darüber, was das Werkzeug kann und was nicht. Anthropics Lektion aus dieser Woche: Sicherheit ja – aber nicht heimlich.

Aus Datenschutz-Gründen ist dieser Inhalt ausgeblendet. Die Einbettung von externen Inhalten kann in den Datenschutz-Einstellungen aktiviert werden: