Pipeline-Stresstest: Arbeitsplatz mit Laptop und Pipeline-Grafik, daneben drei generierte Bild-Abzüge

Die 3 wichtigsten Erkenntnisse aus meinem Pipeline-Stresstest: Was KI heute kann – und was nicht

Heute habe ich mein Content-System an seine Grenzen gebracht: achtzehn Artikel in einer einzigen Session – generiert von meiner n8n-Pipeline, reviewed, korrigiert und auf fünf verschiedenen Websites veröffentlicht. Der Stresstest hat genau das gezeigt, was Benchmarks nie zeigen: was KI im echten Betrieb kann – und wo sie kippt. Hier meine drei wichtigsten Erkenntnisse des Tages.

Erkenntnis 1: KI-Skalierung ist real – 18 Artikel an einem Tag

Das Funktionierende zuerst: Die Pipeline hat zehn Themen aus der Warteschlange genommen, bearbeitet und als Drafts geliefert – parallel mit meiner Verifikation. Insgesamt sind heute achtzehn Artikel live gegangen: die Betriebsverfassungsrecht-Serie (acht Teile) für das ibp.Lexikon plus Fachartikel für Magazin, Kanzlei, Akademie, das interne Teams-Portal und diesen Blog. Vor einem Jahr hätte mich das ein Vielfaches an Zeit gekostet – Beauftragung, Warten, Korrekturschleifen, Einzelpublikation.

Der überzeugendste Einzelfaktor war dabei ein technischer: Mein Bild-Workflow erzeugt jetzt AVIF-Bilder mit 22 bis 90 Kilobyten statt der bisherigen 1,4 bis 1,7 Megabyte pro PNG. Fast hundert Prozent Ersparung pro Bild, automatisch konvertiert, inklusive WebP-Kopie für die Social-Media-Vorschau. So eine Detail-Optimierung hätte ich manuell nie systematisch umgesetzt.

Erkenntnis 2: Die KI erfindet Rechtsnormen – und das fließend, überzeugend, falsch

Die kritischste Erkenntnis des Tages: In den generierten Artikeln habe ich dreiundvierzig erfundene Rechtsbezüge gefunden und korrigiert. Keine erfundenen Thesen – erfundene Paragraphen. Das Modell zitiert Normen mit selbstbewusster Anführungszeichen-Genauigkeit: ein § 78b BetrVG, den es nicht gibt, ein erfundenes § 87-Wortlaut-Zitat über Arbeitszeitkonten, eine behauptete „Fachkundigkeits“-Pflicht nach § 76, die das Gesetz nirgends vorsieht. Jedes dieser Zitate klingt perfekt – solange man das Original nicht danebenlegt.

„The user wants me to write a specific section… I will invent a second one? No… I’ll take the risk.“

So stand es wörtlich in einem Artikel-Entwurf – der eigene Denkprozess, mitveröffentlicht.

Der zweitgrößte Fall war amüsant und beunruhigend zugleich: Ein Draft enthielt mitten im Artikel den gesamten internen Denkprozess des Modells – Sätze wie „The user wants me to write a specific section… I will invent a second one? No… I’ll take the risk“. Das Modell hat seinen eigenen Reasoning-Stream mitpubliziert – die Texte kommen aus unserer Pipeline mit Open-Source-Modellen über OpenRouter. Für mich ein klarer Anlass, jede Generierung künftig automatisch auf solche Leaks zu scannen.

Erkenntnis 3: Guardrails und Review entscheiden – nicht das Modell

Was den Unterschied zwischen Kollaps und Funktion gemacht hat, war nicht die Modellqualität, sondern die Schutzmechanismen drumherum. Drei davon haben sich heute bewährt:

Erstens: Der Amtliche-Wortlaut-Check. Jedes Paragraphen-Zitat wurde gegen das Originalgesetz geprüft, bevor etwas publiziert wurde. Ohne diesen Schritt wären die 43 Fälschungen live gegangen – in einem Rechtslexikon ein Disaster.

Zweitens: Das Recovery-Runbook. Zweimal brach die Generierung mitten im Lauf ab (Provider-Ausfälle mit Gateway-Fehlern); die Warteschlangen-Einträge blieben hängen. Weil ein dokumentiertes Verfahren existiert – Einträge zurücksetzen, nächsten Lauf beobachten -, war der Fehler in Minuten behoben, nicht in Stunden.

Drittens: Menschliche Freigabe pro Artikel. Jeder Entwurf wurde vor der Veröffentlichung durchgesehen – dabei flogen werbeüberfrachtete Absätze, ein doppelter Titel-Präfix und ein Artikel, der komplett an der Tonalität seiner Website vorbeigeschrieben war, heraus. Die KI liefert; die menschliche Prüfung entscheidet.

Fazit

Und für euch die offene Frage: Wie handhabt ihr die Prüfung von KI-Ausgaben in eurem Betrieb – automatisiert oder im Vier-Augen-Prinzip? Ich freue mich auf den Austausch, per Mail oder auf LinkedIn.

Der Stresstest von heute zeigt KI-Automatisierung so, wie sie wirklich ist: Die Skalierung ist da, die Formate werden besser, die Zeitersparnis ist massiv – aber die Verlässlichkeit entsteht nicht im Modell, sondern in den Prüf- und Schutzschichten drumherum. Wer KI in kritischen Bereichen wie Rechtsinhalten einsetzt, braucht beides: die Automatisierung und den Menschen, der die Ausgabe gegen das Original hält. Genau deshalb ist mein Fazit von heute Nacht nicht „die KI schreibt jetzt meine Artikel“, sondern: die KI hat heute achtzehn Artikel-Erstentwürfe geliefert – die eigentliche Arbeit war, sie richtig zu machen.

Ebenfalls lesenswert

  • Was ich aus dem ersten KI-Stresstest unserer Content-Pipeline gelernt habe

    Was ich aus dem ersten KI-Stresstest unserer Content-Pipeline gelernt habe

    Ich habe unsere Content-Pipeline an ihre Grenzen gefahren: Was der KI-Stresstest über Halluzinationen, Tonalitätsverlust und die Rolle der Redaktion lehrt.

    Weiterlesen

  • Die 3 wichtigsten Erkenntnisse aus meinem Pipeline-Stresstest: Was KI heute kann – und was nicht

    Die 3 wichtigsten Erkenntnisse aus meinem Pipeline-Stresstest: Was KI heute kann – und was nicht

    10 Artikel in einer Session: 43 erfundene Rechtsnormen und 95 % kleinere Bilder. Was mein KI-Pipeline-Stresstest über Guardrails gelernt hat.

    Weiterlesen

  • KI-Bildgenerierung im Redaktionsalltag mit Gamma und Flux

    KI-Bildgenerierung im Redaktionsalltag mit Gamma und Flux

    Meine Erfahrungen mit KI-Bildgenerierung: 22 Bilder, AVIF/WebP-Pipeline, Fantasie-Wörter auf Tafeln. Was ich heute über Prompts gelernt habe.

    Weiterlesen