Abstracts

In Gesprächen über generierte Eingabedaten für Sofware-Tests taucht häufig der Einwand auf, dass bei generierten Eingaben die Solldaten fehlen. Und tatsächlich: Wenn eine Eingabe zufällig ist, wie soll ich dann feststellen, ob die Ausgabe korrekt ist? Auf den ersten Blick eignen sich synthetische Eingabedaten damit nur zum Testen von Regressionen (wir speichern Ausgaben für Vergleiche in der Zukunft) oder allgemeine Last- und Robustheitstests.

Tatsächlich ist das Problem nicht die Zufälligkeit der Eingaben. Sondern unsere Abhängigkeit von handverlesenen Sollwerten. Einen Ausweg bietet “Property-Based Testing”. Dabei wird ein Ergebnis nicht mit einem einzelnen Wert verglichen. Stattdessen überprüft der Test, ob das Ergebnis eine gewünschte Eigenschaft hat. Das klassische Beispiel ist, dass das Ergebnis eines Sortierverfahrens eine sortierte Liste sein muss.

Ein Beispiel aus dem Bankwesen: Eine Sanktionsscreening-Software vergleicht die Daten eines Kunden mit “Trefferbildern” aus Sanktionslisten. Ein Problem dabei ist, dass die Namen der Personen aus diesen Listen anders auftauchen als in der Datenbank der Bank. Insbesondere können einzelne Bestandteile wie Titel oder zweite Vornamen fehlen oder die Formatierung unterschiedlich sein. Das Ergebnis des Screenings für eine Person “Max Friedrich Sebastian Mustermann-Schneider” soll nun das gleiche sein wie für “Max Friedrich Mustermann Schneider”. In einem herkömmlichen Test vergleichen wir das Ergebnis für diese Person mit dem erwarteten Ergebnis. Mit Property-Based Testing gehen wir einen Schritt weiter: Wir testen, ob die Eigenschaft “Auslassung eines dritten Vornamens und zusätzliche Sonderzeichen verändern das Ergebnis nicht” gilt. Und zwar mit beliebig vielen Eingabewerten—die nun auch zufällig sein können.

Diese Technik ist eine Variante des Property-Based Testing namens “Metamorphic Testing,” bei der das Ergebnisse für Variationen einer Eingabe auf eine Eigenschaft untersucht werden.

Richtig eingesetzt, kann Property-Based Testing dabei helfen, gute Tests mit hoher Abdeckung zu definieren, die automatisch—also mit geringem Folgeaufwand und Kosten—ausgeführt werden können. Gleichzeitig ermöglicht es, subtiles Fehlverhalten aufzudecken, das mit herkömmlichen Stichprobentests niemals aufgefallen wäre. Auch beim notorisch schwierigen Testen von KI-Systemen eröffnet dieser flexible Ansatz neue Wege. Gleichzeitig kann KI auch beim formulieren von Programmeigenschaften für Tests unterstützen.

Dieses Tutorial bietet eine fundierte Einführung in die Prinzipien des Property-Based und Metamorphic Testing. Zusätzlich beschreibt es einen klaren Weg in die Anwendung durch die Vorstellung konkreter Open-Source-Tools und KI-Prompts, die Teilnehmende direkt in ihren Projekten einsetzen können.

Das Tutorial richtet sich vor allem an Testerinnen und Tester, die bisher wenig praktische Erfahrung mit Property-Based Testing haben oder zusätzliche Impulse zu Metamorphic Testing und Tool-Einsatz sammeln möchten.

Sie lernen, wie Sie

• Property-Based Testing zur Automatisierung und Gestaltung von hochwertigen Tests einsetzen.
• gewünschte Eigenschaften manuell und mit Hilfe von KI formulieren.
• Open Source-Werkzeuge effektiv im Property-Based Testing einsetzen.