Deterministische Assertions treffen auf nichtdeterministische Realität – und CI wird zum Würfelspiel: API-Latenz, Netzfehler, LLM-Variabilität.
(Bild: foxaon1987/Shutterstock.com)
Lesezeit: 13 Min.
Sobald Sie ein Large Language Model (LLM) in den Kontrollfluss Ihrer Anwendung integrieren, rufen Sie keine deterministische Funktion mehr auf – Sie ziehen Stichproben aus einem Modell. Das Modell kann in den meisten Fällen korrekt sein und dennoch gelegentlich fehlerhaften Output liefern: mal formal ungültig, mal semantisch daneben oder zwar schema-konform, aber für Ihre Anwendung nicht sicher brauchbar.
Deterministische Assertions treffen auf nichtdeterministische Realität – und CI wird zum Würfelspiel: API-Latenz, Netzfehler, LLM-Variabilität. PUnit macht aus Unit-Tests statistische Prüfungen: Statt „ein Output ist korrekt“ wird geprüft, ob die Pass-Rate eine Mindestqualität mit definierter Konfidenz erreicht. Ergebnis: entscheidungsfähige Tests für stochastische Systeme – also „grün“ wird wieder vertrauenswürdig.
Ein konkretes Beispiel: Ein Assistent soll eine Kundenanfrage in einen Befehl übersetzen, der als JSON ausgedrückt wird. Der Happy Path ist trivial, doch drei Fehlerklassen tauchen in der Praxis immer wieder auf:
Mike Mannion ist Senior Software Engineer und Berater mit über 35 Jahren beruflicher Erfahrung in der Entwicklung von Unternehmenssoftware. Sein Schwerpunkt liegt auf skalierbaren Java-Lösungen, der Integration von KI und ML sowie auf Data-Warehousing- und Business-Intelligence-Systemen. Er verbindet tiefgehende technische Expertise mit pragmatischem Engineering und legt besonderen Wert auf robuste, skalierbare Architekturen, Qualitätssicherung und belastbare Teststrategien.
Das folgende Listing zeigt eine vereinfachte Happy-Path-Interaktion.
Das war die Leseprobe unseres heise-Plus-Artikels "Testen im Zeitalter der LLMs: Ein probabilistischer Ansatz gegen flakige Tests". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。