Abstracts

In unserem umfangreichen agilen Transformationsprojekt standen wir vor der Herausforderung, die Testabdeckung unserer automatisierten Regressionstests objektiv zu bewerten und zu optimieren. Dieser Beitrag präsentiert einen innovativen und in unserem Projekt erfolgreich eingesetzten Ansatz zur Ermittlung und Verbesserung der Testabdeckung durch die Kombination von Prozess-Mining und gezielter Testfallerweiterung.

Hintergrundinformationen:
Unser Greenfield-Projekt umfasst die vollständige Ablösung einer 25 Jahre alten proprietären Leasingsoftware durch eine angepasste Standardsoftware. Für dieses Vorhaben wurde ein eigenes Unternehmen gegründet und ca. 150 Personen arbeiten nach dem Scaled Agile Framework (SAFe) Ansatz an der Realisierung. In unserem monatlichen Release-Zyklus führen wir mindestens zweimal pro Release-Testzeitraum automatisierte Regressionstests durch.
Als verantwortliche Qualitätssicherungsexperten sahen wir uns mit der Kritik konfrontiert, dass die Testabdeckung der automatisierten Regressionstests nicht ausreichend sei. Um diese Behauptung objektiv zu überprüfen, mussten wir zunächst eine klare Definition und Methodik zur Messung der Testabdeckung entwickeln.

Lösungsansatz:
Unser Ansatz basiert auf der Erkenntnis, dass Testabdeckung als Verhältnis zwischen getesteten und zu testenden Elementen definiert werden kann. Die zentrale Innovation besteht in der Art und Weise, wie wir diese beiden Komponenten ermitteln:

1. Bestimmung der Grundgesamtheit (Nenner): Nach eingehender Analyse identifizierten wir circa 160 Workflows innerhalb der Leasinganwendung, die die fachlichen Kerngeschäftsprozesse des Kunden abbilden. Diese bilden die Grundgesamtheit für unsere Testabdeckungsberechnung.
2. Ermittlung der tatsächlichen Nutzung (Zähler): Inspiriert durch einen Kollegen der im Fußball moderne Spielanalysen mittels Hochstativkameras und spezieller Software Bewegungsdaten und Spielverläufe analysiert, haben wir ein vergleichbares Konzept für unsere Software-Testumgebung entwickelt. Mithilfe der Data-Mining-Software "Signavio Process Intelligence" erfassen wir auf der Produktionsumgebung regelmäßig die tatsächlich im Alltag genutzten Workflows und deren Häufigkeit.
3. Abgleich und Optimierung: Die gewonnenen Daten über die reale Nutzung werden mit unseren bestehenden Testfällen abgeglichen. So identifizieren wir präzise jene Bereiche, in denen Testfälle fehlen oder unterrepräsentiert sind. Besonders häufig genutzte Workflows erhalten dabei eine höhere Priorität bei der Testfallerstellung.
4. Iterative Verbesserung: Nach gezielter Ergänzung der Testfälle wiederholen wir die Analyse im nächsten Release-Zyklus, um die Verbesserung der Testabdeckung zu messen und weitere Optimierungspotenziale zu identifizieren.

Lessons Learned:
Durch unseren Ansatz konnten wir folgende Erkenntnisse gewinnen:

• Die traditionelle Code-Coverage allein ist kein ausreichender Indikator für die Qualität des Testbestands in komplexen Geschäftsanwendungen.
• Der Abgleich zwischen tatsächlicher Nutzung und Testabdeckung liefert wertvolle Erkenntnisse für die Priorisierung der Testautomatisierung.
• Die Kommunikation mit Stakeholdern wird durch objektive, datengestützte Kennzahlen zur Testabdeckung erheblich verbessert.
• Die regelmäßige Analyse der Nutzungsmuster ermöglicht eine kontinuierliche Anpassung der Teststrategie an das sich verändernde Nutzerverhalten.

Übertragbarkeit:
Der vorgestellte Ansatz ist besonders für große Anwendungen mit vielfältigen Geschäftsprozessen geeignet und kann in verschiedenen Kontexten angewendet werden:

• In bestehenden Legacy-Systemen kann die Methode genutzt werden, um die wichtigsten zu testenden Bereiche zu identifizieren.
• Bei Microservice-Architekturen hilft der Ansatz, die am häufigsten genutzten Service-Kombinationen zu erkennen und gezielt zu testen.
• Auch in nicht-agilen Umgebungen kann die Methodik eingesetzt werden, solange Nutzungsdaten erfasst werden können.

Voraussetzungen für eine erfolgreiche Umsetzung sind:

• Die Möglichkeit zur Erfassung von Nutzungsdaten aus der Produktivumgebung
• Ein Tool zur Prozessanalyse (alternativ zu Signavio können auch andere Process-Mining-Tools verwendet werden)
• Eine klare Definition der zu testenden Geschäftsprozesse
• Ein etablierter Regressionstestprozess, der iterativ erweitert werden kann

Mit diesem innovativen, datengetriebenen Ansatz haben wir nicht nur die Testabdeckung objektiv messbar gemacht, sondern auch einen kontinuierlichen Verbesserungsprozess etabliert, der die Qualität unserer Software nachhaltig sichert.