Bei einer Studie des Software-Unternehmens CloudBees wurden mehr als 200 Führungskräfte aus dem Technologiebereich zum KI-Einsatz in ihrem Unternehmen befragt. 81 Prozent berichteten von Problemen wie Funktionsfehlern, Sicherheitslücken und Performanceproblemen nach der Bereitstellung, die mit KI-generiertem Code zusammenhängen. 63 Prozent berichteten zusätzlich von Compliance-Verstößen, die die KI verursache. Auch diese gelangten manchmal in das produktive Geschäft.

Ein Problem scheint laut den Umfrageergebnissen von CloudBees zu sein, dass die Tester mit dem Validieren des KI-Codes nicht mehr hinterher kommen. 62 Prozent verstärkten automatische Tests, 30 Prozent hätten mehr manuelle Prüfschritte hinzugefügt. Doch nur die Hälfte glaubt, dass die formalen Überprüfungsprozesse für KI-Code in ihrem Unternehmen wirklich immer angewendet werden. Für viele ist das Betreuen der Testumgebung mittlerweile eine größere Belastung als das Schreiben des Codes selbst.

Meldungen häufen sich

Das passt zu vermehrten Berichten von Problemen mit KI-Code. Bei Amazon gab es bereits wiederholt Probleme, die auf Code von KI-Assistenten zurückgehen. Die Studie „Coding on Copilot“ von GitClear deutet ebenfalls darauf hin, dass der zunehmende Einsatz von KI-Programmierhilfen die Codequalität beeinträchtigen könnte. Auch das Fraunhofer-Institut für Experimentelles Software Engineering betont, wie wichtig neue, gründliche Kontrollmechanismen für KI-Codes laut aktuellen Studien sind. Andernfalls drohten Fehler.

Ein zentraler Konflikt zwischen KI-Agenten und der Stabilität von Software liegt im fehlenden Determinismus generativer KI-Modelle. Klassisches Software-Engineering basiert auf Systemen, die bei identischen Eingaben identische Ergebnisse liefern. Generative KI arbeitet dagegen mit Wahrscheinlichkeiten und kann selbst bei gleichbleibender Logik unterschiedliche Varianten desselben Codes erzeugen. Dieses stochastische Verhalten führt insbesondere dort zu Problemen, wo hundertprozentige Genauigkeit ein zentraler Maßstab ist; zum Beispiel in sicherheitskritischen Entwicklungsumgebungen.

(rie)