Abstracts

Im Rahmen der Evaluierung von KI-Unterstützung bei Verifikation und Validierung (V&V) hat ITK Engineering GmbH mehrere Proofs of Concept (POCs) durchgeführt, um die Anwendungsmöglichkeiten und den Nutzen von generativer KI in unterschiedlichen Projektumfängen zu testen. Diese PoCs wurden für Projekte mit kleinen Teams von zwei bis drei Mitarbeitenden bis umfangreichen Projekten mit bis zu dreißig Mitarbeitenden durchgeführt. Ziel war es, die Potenziale der KI-gestützten Ansätze zu evaluieren und die Vorteile im spezifischen Projektkontext herauszuarbeiten. Die in diesem Beitrag gezeigten Beispiele orientierten sich an realen Projektbedingungen, ohne jedoch direkt Kundendaten zu involvieren.

Im Mittelpunkt dieses Evaluationsprozesses steht die von ITK Engineering entwickelte Softwareplattform Trailblazer, die über eine Azure Subscription und die OpenAI-API bedient wird. Trailblazer ermöglicht den Zugriff auf Daten aus verschiedenen Quellen und bietet Werkzeuge für spezifische Nutzungsprofile, wie Anforderungs- oder Testfallentwicklung. Ein möglicher Anwendungsfall ist die Anbindung von ALM-Tools wie Polarion, wodurch Artefakte, wie Anforderungen oder Test-Spezifikationen erfasst und verknüpft werden können. Jedoch sind  auch Dateien unterschiedlicher Formate als Eingabe- bzw. Ausgabequelle möglich.

Ein beispielhafter KI-unterstützter Prozess sieht folgendermaßen aus: Die KI erstellt zunächst aus den erfassten Anforderungen die Testspezifikationen, die durch Trailblazer einem Review und einer KI-gestützten Überarbeitung unterzogen werden. Abschließend erfolgt ein menschliches Review, das qualitative Aspekte prüft und für das ein Reviewprotokoll zur Dokumentation angefertigt wird.

Diese iterative Verfeinerung integriert technologische und menschliche Expertise, garantiert eine robuste und innovative Lösung für die Herausforderungen moderner Verifikations- und Validierungsanfragen.

In der praktischen Anwendung hat ITK Engineering wichtige Erkenntnisse aus den Projekten gesammelt, etwa bei der Entwicklung eines Pulswechselrichters, der Erfüllung gesetzlicher Anforderungen für einen Intelligent Speed Assistant (ISA) oder dem Umgang mit Systemanforderungen bei einem Schiebedachprojekt. Durch die Bereitstellung von zusätzlichen Informationen wie einem Schlüsselwortkatalog oder Beispieltestfällen wird die KI unterstützt und befähigt, Testspezifikationen oder -skripte in unterschiedlichen Zielformaten und -strukturen zu erstellen. Die Verknüpfung der Testspezifikation mit der abzusichernden Anforderung kann bereits zum Zeitpunkt der Generierung des Testfalls im ALM Tool erfolgen. Diese Testfälle können mithilfe der KI einem Review-Prozess unterzogen werden. Hierbei werden identifizierte Schwachstellen, sogenannte Findings, durch einen weiteren Korrekturschritt direkt oder mithilfe weiterer bereitgestellter Informationen durch die KI optimiert.

Ein "Lesson Learned" aus diesem Ansatz zeigt die Effizienzsteigerung bei der Testfallerstellung und der Flexibilität hinsichtlich der unterschiedlichen Projektkontexte. Das beschriebene Vorgehen ist auf andere Projektumfelder, Branchen und Domänen übertragbar. Wesentlich für die erfolgreiche Nutzung in einem Projekt sind klare Vorgaben hinsichtlich des Zieles und der Zielformate, wobei der Anwender eine klare Vorstellung entwickeln muss, nach welchen Kriterien die Zielerreichung gemessen wird. Diese Kriterien legen die Basis für ein automatisiertes Review und die finale Bewertung der Ergebnisse durch das menschliche Review. Einschränkungen dieser Methode bestehen vor allem bei unvollständigen oder volatilen Anforderungen, bei sehr komplexen Szenarien und bei zu großem oder fehlendem Kontext.