Abstracts

KI prägt die Softwareentwicklung zunehmend – und bringt neue Herausforderungen für Testing, Testautomatisierung und Qualitätsmanagement mit sich. Dieser Workshop richtet sich an alle, die KI-basierte Software nicht nur innovativ, sondern auch sicher und compliant gestalten oder ihre Nutzung ermöglichen wollen. Im Mittelpunkt steht dabei die praktische Umsetzung der Anforderungen z.B. des EU AI Act sowie der Umgang mit typischen Schwachstellen in KI-basierten Architekturen gemäß aktueller Best Practices.

Das Tutorial bietet einen kompakten und praxisnahen Einstieg in die Bewertung, Analyse und Absicherung von KI-Systemen. Nach einer kurzen Einführung in die regulatorischen Anforderungen und die Risikoeinstufung von KI-Systemen (u.a. mit dem EU AI Act Compliance Checker) werden anhand von Fallbeispielen und interaktiven Übungen die zentralen Bedrohungen für KI-Anwendungen beleuchtet. Dabei greifen wir auf aktuelle Leitfäden wie den OWASP AI Security and Privacy Guide sowie die OWASP Machine Learning Security Top 10 zurück.

Das Tutorial beinhaltet praktische Aktivitäten, die Ihr in Kleingruppen unter Anleitung des Dozenten durchführt. Durch das praktische und interaktive Konzept könnt Ihr Sicherheitstesten KI-basierter Softwarearchitekturen aus eigener Anschauung erleben.

Im Fokus stehen folgende Fragen:

• Welche typischen Schwachstellen und Angriffsszenarien bedrohen KI-basierte Architekturen? Welche Schwachstellen stehen aktuell in KI-basierter Software im Vordergrund ?
• Wie lassen sich Risiken wie Modelldiebstahl, Datenabfluss, Manipulation von Trainingsdaten und Prompt-Injection erkennen und abwehren?
• Gibt es „Safeguards“ beim Einsatz von KI und wie sicher sind sie tatsächlich?
• Praxisaufgaben zur Risikoeinstufung und Compliance: Hacking ChatGPT for Fun and Knowledge-Profit?
• Welche speziellen Herausforderungen ergeben sich beim Testen und Absichern von KI-Systemen – und wie unterscheiden sie sich von „klassischen“ Softwarearchitekturen?
• Wie unterstützt der Security Development Lifecycle (SDL) – von Bedrohungsmodellierung (z.B. STRIDE, Threat Dragon) bis zu statischer und dynamischer Analyse (z.B. SonarQube, ZAP) – ein systematisches Qualitätsmanagement für KI?

Ihr lernet, wie Ihr KI-Architekturen gezielt auf Sicherheits- und Compliance-Anforderungen prüfen könnt und welche Werkzeuge dabei unterstützen – von der Risikoeinstufung nach EU AI Act über Threat Modeling bis zur Schwachstellenanalyse im laufenden Betrieb.

In Breakout-Gruppen führen wir praktische Übungen mit Open-Source-Tools zum Sicherheitstesten von KI-basierten Architekturen und deren Implementierungen durch, darunter SonarQube und die Penetration-Testing-Infrastruktur Kali Linux. Ihr schlüpft in die Rolle des Angreifers und greift die (bewusst unsicher entwickelte) Webanwendung „Google Gruyere“ an. Auf diese Weise erwerbt ihr konzeptionelle und praktische Kenntnisse der IT-Sicherheit auf Architekturebene und im Kontext der Softwareentwicklung. Praktische Übungen mit Tools wie dem EU AI Act Compliance Checker, Threat Dragon, SonarQube und ZAP helfen, das Erlernte direkt anzuwenden und Sicherheitslücken hands-on zu identifizieren.

Insbesondere werden wir uns in praktischen Übungen ansehen, wie die Safeguards, die eine sichere Verwendung von LLM-basierten Chatbots wie ChatGPT erreichen sollen, möglicherweise umgangen werden können.

Das Tutorial richtet sich an Entwickler/innen, Tester/innen, Architekt/innen und QM-Verantwortliche, die Verantwortung für KI-basierte Software übernehmen – unabhängig vom Erfahrungslevel mit KI im Unternehmenskontext. Ihr bekommt nicht nur das nötige Wissen, um KI-Systeme sicher und regelkonform zu bauen und/oder ihre Nutzung zu ermöglichen, sondern auch das Rüstzeug, um aktuelle und künftige regulatorische Anforderungen souverän umzusetzen.

Wir freuen uns auf den Austausch mit Euch und spannende Diskussionen rund um das sichere Testen und Absichern von KI-Systemen!

Key Takeaways:

Ihr geht mit sofort einsetzbarem Wissen, vertieftem Praxisverständnis und einem klaren Überblick zu aktuellen Tools, Methoden und regulatorischen Anforderungen für sichere KI-Architekturen nach Hause.

Ihr erhaltet:

• Aktuelle praktische Kenntnisse zum Sicherheitstesten insbesondere in KI-basierten Architekturen.
• Schutzmaßnahmen und Best Practices wie die „OWASP Machine Learning Security Top Ten“.
• Praktische Übungen mittels Open-Source-Werkzeugen für das Sicherheitstesten.