05.10.2022
17:25 - 18:10 Uhr

Vortrag
Products

Dr. Gregor Endler
codemanufaktur GmbH

Testsuiteoptimierung mit Machine Learning

Software-Testsuiten größerer Projekte haben meist lange Laufzeiten. Entwickler/innen müssen Stunden oder sogar ganze Tage auf ein Testresultat warten. Dauert es zu lange, wenden sie sich in der Zwischenzeit anderen Themen zu, was bei der Rückkehr zur ursprünglichen Aufgabe Reibungsverluste verursacht. Darüber hinaus müssten nicht immer alle Testsuiten vollständig durchgeführt werden. Beispielsweise genügt manchmal bereits ein einziger gefundener Fehler, um einen Gated Checkin abzuweisen.

Diese noch typischen Situationen in der Softwareentwicklung können mittels Machine Learning optimiert und teilweise aufgelöst werden. Das Einsparungspotential von Ressourcen wie Rechenleistung und Arbeitszeit ist entsprechend groß und stellt eine signifikante Qualitätssteigerung im Sinne der Performanceleistung dar. Im vorgestellten Erfahrungsbericht wird aufgezeigt, wie mittels des Machine Learning System scryer die geschilderten Situationen in der Praxis optimiert werden konnten. Durchgeführt wurde die Studie mit Echtwelt-Daten eines Großprojekts aus dem Bereich Medizintechnik.

Die Studie verdeutlicht die Wirksamkeit der Testfall-Priorisierung und Wirkung des Einsatzes von scryer auf das Projekt und seine Beteiligten. Nach dem Training konnte das System die Ergebnisse von Tests mit einer mittleren Genauigkeit von 78% vorhersagen. Es ermöglichte sekundenschnelles Feedback über vermutete Testfehlschläge während der Entwicklung. Zusätzlich konnten die Testfälle einer Suite so umgeordnet werden, dass Tests mit hoher Fehlschlagswahrscheinlichkeit zuerst ausgeführt werden. Entsprechend wurden tatsächlich fehlschlagende Tests früher gemeldet.

Mithilfe scryers konnte so der Entwicklungsprozess vereinfacht und beschleunigt werden, unnötige Testausführung wurden eingespart und Entwickler entlastet. Welche Daten dafür nötig waren und wie diese verarbeitet wurden, wird ebenso aufgezeigt, wie die gelieferten Ergebnisse.

Dr. Gregor Endler, codemanufaktur GmbH

Dr. Gregor Endler ist Senior Data Scientist bei der codemanufaktur GmbH. Er hat einen Doktortitel in Informatik. Dr. Gregor Endler verfügt über 7 Jahre Berufserfahrung im universitären Umfeld in Forschung und Lehre im Bereich Datenmanagement und 4 Jahre Industrie-Erfahrung im Bereich Data Science. Seine besondere Expertise liegt in der Datenanalyse und im Machine Learning. Vorträge auf internationalen Konferenzen und zahlreiche Veröffentlichungen, wie seine Dissertation „Adaptives Datenqualitätsmonitoring unter besonderer Berücksichtigung der Vollständigkeit zeitbehafteter Daten“, runden sein Portfolio ab. Eine Liste seiner Veröffentlichungen ist hier zu finden: scholar.google.com/citations

Erfahrung als Referent bzw. die aktuellsten Referentenauftritte:

  • „Impact Assessment 101 to 301: From Beginner to Journeyman”, OOP Die Konferenz für Software-Architektur, 2022
  • „Letting AI Decide Testing Chronology”, Agile Testing Days, 2021
  • „Machine Learning from Failures”, imbus Software QS-Cast, 2021
  • „Back to the Data - Now That We (Machine) Learned From Test Results, What Else Did We Gain? “, OOP Die Konferenz für Software-Architektur, 2021