Thema: Werkzeuge für Software-QS und -Test

12:05 - 12:50

Haben wir unsere Änderungen eigentlich getestet? Möglichkeiten und Grenzen von Test-Gap Analyse

Dr. Elmar Jürgens, CQSE GmbH

Bei langlebiger Software treten im Feld vor allem in den Bereichen Fehler auf, die im letzten Release verändert oder neu entwickelt wurden. Um diese Fehler vor dem Release zu finden, sollten geänderte und neue Code-Bereiche besonders ausführlich getestet werden. Diese Erkenntnis wurde in der Forschung empirisch vielfach bestätigt und wird in der Praxis längst gelebt: Testmanager beziehen bei der Testplanung die Change-Requests, die seit dem letzen Release durchgeführt wurden, mit ein. Aber wie gut gelingt es Ihnen wirklich, Änderungen auch zu testen?

In großen Projekten werden Entwicklung und Test meist von verschiedenen Teams, oft in unterschiedlichen Firmen, Ländern und sogar Zeitzonen durchgeführt. Das erschwert die Kommunikation führt dazu. dass Änderungen im Test übersehen werden. Zudem lassen sich Change-Requests häufig nicht einfach Testfällen zuordnen. Gerade technische Änderungen, wie bspw. die präventive Behebung von Wartungsproblemen oder die Migration auf eine neue Version einer 3rd Party Komponente, stellen hier eine Herausforderung dar.

Unsere empirischen Untersuchungen zeigen, dass dadurch in der Praxis ein signifikanter Anteil an geändertem oder neuem Code ungetestet in Produktion gelangt; dieser Code ist jedoch nachweislich für einen Großteil der Feldfehler  verantwortlich.

Der Vortrag stellt die sogenannte „Test-Gap Analyse“ vor. Test-Gap Analyse kombiniert statische und dynamische Analyseverfahren um Code-Bereiche zu ermitteln, die neu (oder geändert) und ungetestet sind. Der Vortrag stellt Erfahrungen aus mehreren Jahren Einsatz bei der Münchner Rück in Projekten vor, in denen bis zu 20 Entwickler und bis zu 30 Tester gleichzeitig involviert waren und in denen sowohl automatisierte, als auch manuelle Tests zum Einsatz kamen. Der Vortrag präsentiert Ansatz, Lessons Learned, Nutzen und Grenzen von Test-Gap Analyse. Dabei kommen zum einen technische Aspekte, wie die geeignete Erhebung von Test-Coverage und die aussagekräftige Ermittlung von Unterschieden zwischen Programmversionen zum Tragen. Vor allem wird auf den Einsatz, Nutzen und die Interpretation der Daten und ihre Bedeutung und Interpretation für den Qualitätssicherungsprozess eigegangen.

Dr. Elmar Jürgens, CQSE GmbH

Elmar Jürgens promovierte an der Technischen Universität München über Erkennung, Auswirkungen und Umgang mit Klonen und erhielt dafür 2011 den Software-Engineering-Preis der Ernst Denert-Stiftung. Als Mitgründer der CQSE GmbH unterstützt er Unternehmen bei der Analyse und Verbesserung der Qualität ihrer Softwaresysteme. Er spricht regelmäßig auf internationalen Konferenzen und wurde auf den Software Quality Days 2013 unter die fünf besten Referenten gewählt.