Thema: Testorganisation State of the Art

09:40 - 10:25 Uhr

Nutzen einer metrikbasierten Testausführungsreihenfolge beim Systemtest

Frank Lammermann, DB Systel GmbH

 

Beim Testen von softwareintensiven Systemen hat der Zeitpunkt der Fehlerfindung einen starken Einfluss auf die Kosten der Fehlerbehebung: Je später ein Fehler gefunden wird, desto aufwendiger und teurer wird es, den Fehler zu korrigieren. Somit ist eines der Ziele des Software-Testens, Fehler möglichst frühzeitig zu finden, um Kosten zu minimieren.
Eine Möglichkeit für das möglichst frühzeitige Aufspüren von Fehlern ist, jede Testphase möglichst gründlich und systematisch zu durchlaufen, sodass möglichst viele Fehler in möglichst frühen Testphasen gefunden werden. Wenig Beachtung wird in der Regel dagegen auf den Zeitpunkt der Fehlerfindung innerhalb der einzelnen Testphasen gelegt.
Da die einzelnen Testphasen – wie z.B. die Phase des Systemtests – in der Regel lange Zeiträume in Anspruch nehmen können (in größeren Projekten können dies mehrere Wochen sein), ist der Nutzen groß, in jeder Testphase insbesondere schwere und kritische Fehler möglichst frühzeitig zu finden, um diese möglichst schnell bewerten und ggf. beheben zu können. Dies kann die Gesamtkosten eines Software-Projektes deutlich reduzieren.
In der vorliegenden Studie wird untersucht, wie hoch der Einfluss auf den Zeitpunkt der Fehlerfindung ist, wenn diejenigen Testfälle in der Ausführungsreihenfolge bevorzugt werden, die eine hohe Priorität und eine kurze Ausführungsdauer besitzen (metrikbasierte Ausführungsreihenfolge). Für die Untersuchung wurden vier Ausführungsreihenfolgen miteinander verglichen, deren Schwerpunkte unterschiedlich stark auf Metriken bzw. persönlichen Erfahrungen der Testdesigner beruhen. Hierzu wurde der Systemtest von drei Releases eines großen und unternehmeskritischen Software-Projektes der Deutschen Bahn über den Zeitraum eines Jahres analysiert, der eine Teamgröße von ca. 15 Testern bzw. Testdesignern besitzt.
Es zeigte sich, dass Fehler im Durchschnitt bei der erfolgreichsten Ausführungsreihenfolge - einer Kombination aus Metrik- und Erfahrungsbasiertheit - 1,37-mal so früh wir bei der intuitiven Ausführungsreihenfolge gefunden werden konnten. Dabei ist der Aufwand für den Einsatz dieser Vorgehensweise gering (< 3% vom Gesamtaufwand des Testdesigns) und ist auf beliebige Software-Projekte und Testphasen übertragbar, sofern keine bzw. geringe Abhängigkeiten bei der Ausführung der Testfälle bestehen.

Frank Lammermann, DB Systel GmbH

Studium der Informatik in Frankfurt am Main, Abschluss im Jahr 2000 mit Diplom. Im Anschluss daran Software-Entwickler und Gruppenleiter bei der ID Media AG in Berlin. Weiterhin Doktorrand der Daimler Chrysler AG, Forschung und Technologie, mit Promotion im Bereich Informatik der Humbold Universität zu Berlin (Schwerpunkt: Automatisierte Komponententests) und Mitarbeit bei der Entwicklung Systematischen Testens im internationalen industriellen Umfeld (2005). Danach SW-Prüfingenieur bei der Hella KGaA & Co. in Lippstadt und seit 2007 Seniorberater, Testmanager und Gesamttestkoordinator bei der DB Systel GmbH auf einer Reihe von unternehmenskritischen Verfahren (z.B. Trassenmanagement, Personenverkehr, Geschäftsmodelloptimierung).