Abstracts

Embedded-Entwicklungsteams, die Hardware-in-the-Loop-Tests in CI/CD-Pipelines betreiben, kennen das Problem: Jeden Morgen liefert der nächtliche Testlauf Hunderte Fehlermeldungen – doch die wirkliche Ursache ist oft eine einzige. Ein Watchdog-Reset des Geräts, ein abgestürzter Systemdienst oder ein Hardware-Revisionsunterschied löst eine Kaskade von Folgefehlern aus, die alle unterschiedlich aussehen, aber denselben Ursprung haben.

Bestehende Test-Analytics-Plattformen wurden für Web- und Cloud-Software entwickelt. Sie kennen keine physischen Testgeräte (DUTs), keine Boot-Zyklen, keine Firmware-Service-Lebenszyklen und können nicht unterscheiden, ob ein Testfehler an der Infrastruktur, der Firmware, der Hardware oder dem Testskript liegt.

Dieser Praxisbericht stellt eine produktionserprobte Lösung vor: eine Test-Intelligence-Plattform mit über 90 MCP-Tools (Model Context Protocol), die CI/CD-Testergebnisse für Embedded-Systeme analysiert. Die Plattform läuft produktiv bei einem großen europäischen Konsumgüterhersteller und verarbeitet Tausende CI-Testläufe über mehrere Produktvarianten hinweg.

Kernfähigkeiten der Plattform:

• Automatisches Failure-Clustering: Hunderte Fehlermeldungen werden auf wenige Ursachengruppen reduziert – durch Textähnlichkeitsanalyse mit Normalisierung von HTML, Pfadangaben und Zeitstempeln
• Lernende Mustererkennung: Fehlersignaturen werden als Regex-Muster erfasst, nach Quelle klassifiziert (Infrastruktur, Produkt, Test) und automatisch bei neuen Fehlern abgeglichen
• DUT-Gesundheitsüberwachung: Einzelne Testgeräte werden über Zeiträume verfolgt, auffällige Hardware wird durch Peer-Vergleich identifiziert
• Boot-Zyklen-Analyse: Watchdog-Resets, Kernel-Panics und unerwartete Neustarts werden aus seriellen Konsolenprotokollen erkannt und mit Testfehler-Kaskaden korreliert
• Firmware-Service-Monitoring: Start, Absturz und Neustart von systemd-Diensten werden als eigenständige Fehlerursachen erkannt
• Persistentes Engineering-Wissen: Debugging-Erkenntnisse werden über Sessions und Teammitglieder hinweg bewahrt – mit einem Stage-Review-Commit-Verfahren, das nur validiertes Wissen dauerhaft speichert

Die Plattform ist als MCP-Server implementiert und integriert sich direkt in KI-Coding-Assistenten. Ingenieure können Testintelligenz direkt aus der Entwicklungsumgebung abfragen – ohne den Workflow zu unterbrechen.

Ein zentrales Designproblem war die Qualitätssicherung des gespeicherten Wissens: Ohne Schutzmechanismen füllt sich der Langzeitspeicher mit vagen Beobachtungen. Die Lösung ist ein dreistufiges Verfahren (Stage → Review → Commit) mit Konfidenz-Schwellwerten, Evidenzpflicht und Deduplizierung.

Der Vortrag enthält Live-Demonstrationen mit echten CI-Daten und zeigt, wie die Plattform Fragen beantwortet wie: „Haben wir diesen Fehler schon einmal gesehen?", „Welches Testgerät verschlechtert unsere Pass-Rate?", „Ist das eine Regression oder bekannte Flakiness?" und „Was hat mein Kollege letzte Woche bei der Analyse herausgefunden?"

Teilnehmende lernen praktische Architekturmuster für den Aufbau von KI-gestützter Testintelligenz in ihren eigenen Embedded-CI/CD-Pipelines.