Anwendung von Maschinellen Lernalgorithmen auf SHM/NDT Daten

Einführung

Thema

Worum geht es?

Einen Schaden oder Materialveränderungen (Fehler) zuverlässig und sicher finden mit vorhandenen Messdaten!

Strukturüberwachung (SHM) zur Laufzeit mit applizierten oder integrierten kostengünstigen Sensornetzwerken!

Modellfreie Schadens- und Fehlerdiagnostik! Welcher Schaden, wo, warum, Auswirkung?

Verwendung von überwachten Maschinellen Lernen (verschiedene Modelle und Algorithmen)

Aufgabe

1. Es soll eine Prädiktorfunktion F mit einer Modellhypothese M geben die in der Lage ist aus einfach zu erlangenden Messdaten:
   • Eine binäre Entscheidung zu treffen ob eine Struktur geschädigt ist oder nicht;
   • Dann einen Schaden zu klassifizieren;
   • Und schließlich den Ort des Schadens innerhalb einer Struktur zu approximieren;
   • Eventuell Vorhersage des Bauteilzustandes (höhere Ebenen von SHM)
2. Mögliche Messverfahren:
   • Netzwerk aus Dehnungssensoren (aktives oder passives Messverfahren)
   • Geführte Wellen und Ultraschallmesstechnik (aktiv)
   • Schallwellen im Betrieb (passiv)

Messtechnik und Datenerfassung

Sensorische Materialien

Ein sensorisches Material stellt eine enge Kopplung von Struktur, Sensoren, Datenverarbeitung, Kommunikation und Energieversorgung dar, die in einem Basismaterial integriert sind ⇒ Erfassung des Zustandes des Strukturmaterials

Sensorische Materialien erweitern Strukturmaterialien mit folgenden Funktionen:

1. Lastüberwachung
2. Strukturelle Zustandsüberwachung
3. Zerstörungsfreie Prüfung

Maschinelles Lernen kann genutzt werden, um Schäden zu erkennen und den Zustand des Materials zu bestimmen und zu bewerten.

Sensorische Materialien

Test und Vorhersage

Schadensdiagnose und Vorhersage ist das Ergebnis von Tests:

Zerstörungsfreie Prüfung (NDT)

Halbautomatische oder manuelle Erkennung von Schäden und relevanten Material- und Strukturänderungen im Labor oder in der Wartung

Strukturüberwachung (SHM)

Automatisierte Erfassung des Zustands einer technischen Struktur oder Vorrichtung zur Laufzeit (einschließlich Schäden, jedoch nicht beschränkt darauf)

• NDT, SHM, und die Vorhersage von Schäden ist immer noch eine Herausforderung, auch in herkömmlichen monolithischen Materialien
• Neue Materialien und hybride Materialien, Z. B. Faser-Metall-Laminate, zeigen bei versteckten Schäden keine äußerlich sichtbaren Materialabweichungen!
• Bewährte Messtechniken sind Ultraschallüberwachung und Computertomographie
  • Beide Techniken zeigen hohen instrumentalen Aufwand und Schwierigkeiten bei der diagnostischen Robustheit

Test und Vorhersage

Externe Überwachung von inneren Schäden solcher Materialien und Strukturen mit einfachen und kostengünstigen externen Sensoren, Z.B. Dehnungssensoren, unter Laufzeitbedingungen ist von hohem Interesse!

• Verschiedene Parameter und Einschränkungen haben Einfluss auf das Testergebnis, die Genauigkeit und die Vertrauenswahrscheinlichkeit:
  • Rauschen (extrinsisch, intrinsisch)
  • Sensorausfall
  • Sensor-Ausfall von Knoten in einem Sensornetzwerk
  • Änderung der Material- und Struktureigenschaften zur Laufzeit
  • Lücke zwischen Baseline- und Laufzeitbedingungen
  • Ungenaue Modelle

Maschinelles Lernen

Modelle und Algorithmen

Modelle und Algorithmen müssen unterschieden werden. Modelle sind Funktionen, Graphen, Bäume und Tabellen. Algorithmen führen Training, Test und Klassifizierung (d.h. Vorhersagen) durch.

Die folgenden Lernalgorithmen und Modelle werden für die Schadensdiagnose verwendet:

• Klassische Entscheidungsbaum Lerner (ID3, C45)
• Verbesserte Entscheidungsbäume mit Intervall-Arithmetik und Nächster-Nachbar-Näherung (ICE)
• Random Forest Tree Lerner (RF)
• Single-layer Perceptrons (einschichtiges künstliches neuronales Netzwerk, SLP)
• Multi-layer Perceptrons (Deep Learning mit versteckten Ebenen, MLP)
• Multi-label Support Vektor Maschinen (SVM)

Architekturen

Maschinelles Lernen bedeutet eine Hypothese M einer Modellfunktion F zu finden, die einen Eingabevektor x auf einen Ausgabevektor y abbildet:

Maschinelles lernen ist in drei Phasen unterteilt:

1. Lernen einer Hypothese einer Modellfunktion M mit Trainingssensordaten (gekennzeichnet mit Werten der Zielvariable, häufig durch einen Experten bei überwachtem Lernen)
2. Testen der berechneten Modellfunktion mit Testdaten zur Schätzung der Modellgenauigkeit (mit Trainingsdaten und zusätzlichen Datensätzen)
3. Anwendung von M auf neue Sensordaten

Architekturen

Es gibt zwei Hauptklassen von Sensordaten und Lernstrategien, die verwendet werden können:

Globales Lernen mit einer Instanz

Es gibt einen räumlich verteilten Datensatz D(t) zu einer bestimmten Zeit t (oder gemittelt in einem Zeitintervall) der von einer zentralen Instanz verarbeitet wird.

Lokales Lernen mit mehreren Instanzen und Globaler Fusion

Eine Reihe von zeitaufgelösten Sensordaten d(p,t) an einer bestimmten räumlichen Position p die von mutiplen Instanzen lokal verarbeitet werden.

Architekturen

Multiinstanzlernen

Ensemblelernen

• Inherent verteilte Sensordaten (z.B. von einem räumlich verteilten Sensornetzwerk mit Dehnungssensoren) können mit lokalen Lerninstanzen verarbeitet werden
  • Jede räumlich lokale Lerninstanz lernt ein Modell aus lokalen Daten und inferiert lokale Eigenschaften → lokaler Zustand
• Globale Fusion der Inferenzen der einzelnen lokalen Lerninstanzen führt zu einer Inferenz des globalen Zustands
  • Z.B. durch Mittelung, Mehrheitsentscheid
  • Lokalisation z.B. durch Berechnung des “Massenschwerpunktes”

Multiinstanzlernen zeigt erhöhte Robustheit gegenüber Störungen und liefert auch bei schlechter einzelner lokaler Inferenz noch durch das Ensemble statistisch gute Ergebnisse

Lernen und Rauschen

• Rauschen (einschließlich Sensorstörungen) hat einen hohen Einfluss auf die Modellfunktion M und seine Vorhersagegenauigkeit

• Traditionelle Lerner wie ID3/C45 Entscheidungsbäume berücksichtigen keine verrauschten Sensordaten!

• Um mit verrauschten Sensordaten arbeiten zu können, wurde ein neuer Entscheidungsbaumlerner ICE eingeführt:

Statt Sensorvariablen direkt zu verwenden, wird jede Sensorvariable x_i in eine Intervallvariable mit einem Rauschabstand ε transformiert, dh x_i → [x_i-ε_i,x_i+ε_i]

• Dieser Rauschabstand und die Intervallarithmetik, die vom Lerner verwendet wird, verbessern die Modellqualität und Vorhersagegenauigkeit erheblich!

Lernen und Rauschen

Generalisierung

• Beim Lernen werden Trainingsdaten verwendet (Sensordaten mit Zielvariablenergänzung)

• Getestet werden die trainierten Modelle 1. mit den Trainingsdaten und 2. mit Testdaten

  • Genauigkeit der Vorhersage
  • Falsch-positiv und Falsch-negativ Raten
  • “Offset” und Verzerrung

• Ein großes Problem beim Maschinellen Lernen ist die nicht vorhandene Generalisierung des Modells:

  • Das gelernte Modell kann die Trainingsdaten genau abbilden, die Testdaten aber nicht (spezielles Modell)
  • Das gelernte Modell ist abhängig von geometrischen oder temporalen Variablen, wie z.B. der Messort oder Signalphase/Zeitversatz
  • Lokales vs. globales Modell!

Trainings- und Testdaten

Für das Trainieren und Testen von Modellfunktionen werden mit der Zielvariablen gekennzeichnete Datensätze benötigt

Diese Datensätze können aus drei Quellen stammen: 1. Experiment/Messung, 2. Simulation, 3. Datenerweiterung

Quantitativ und qualitativ hochwertige Sensordaten werden benötigt um generalisierte Modelle zu lernen!

Experimentelle Daten

• Experimentelle Daten werden gewonnen aus
  • Labor- und Prüfverfahren von repräsentativen Bauteilen;
  • Messverfahren zur Betriebszeit von Produktionsbauteilen (Serie).
• Bei Labor- und Prüfverfahren steht nur kleine Menge an Datensätzen zur Verfügung die
  • Eine große Varianz der Schadens- und Fehlerfälle abbilden;
  • Die vergleichbare Schadens- und Fehlerfälle in wiederholten Messungen abbilden.
  

Synthetische Daten

• Aus Simulation können Sensordaten synthetisch gewonnen werden

• Es gibt verschiedene Ansätze der mechanischen Simulation von Materialien und Strukturen:

FEM

Hoher Rechenaufwand, Modellbildung von hybriden Materialien und Syntaktischen Schäumen schwierig, dynamisches Schwingungsverhalten von Strukturen aufwändig zu erfassen

MBP

Mehrkörperphysik und Masse-Feder Systeme zur Approximation von beliebigen Materialien und Strukturen auch mit inelastischen Verhalten und Ermüdung, geringer Rechenaufwand, “echtzeitfähig”, dynamisches Verhalten mit geringen Aufwand berechenbar

Synthetische Daten

Masse-Feder Modell und Mehrkörperphysik

Datenwerweiterung

• Wenn nicht genügend Experimente durchgeführt werden können (für Replikation und Varianz):
  • Vorhandene Datensätze werden zur synthetischen Erzeugung neuer Datensätze verwendet
  • Schwierig und fehleranfällig: Modellzusammenhänge zwischen Schaden und Sensorsignalen müssten bekannt sein

Verfahren

Monte Carlo Simulation

Es wird gaußverteiltes Rauschen auf die rohen Sensordaten überlagert (Erhöhung Robustheit)

Skalierung und Transformation

Rohe Sensordaten werden in den jeweiligen Dimensionen (z.B. Zeit oder Fläche) “gedehnt” oder “gestaucht”

Segmentierung

Rohe Sensordaten werden in Segmenten zerlegt und wieder gemischt neu zusammengesetzt

Beispiel: Verteiltes Sensornetzwerk mit Dehnungssensoren

Aufbau

Simulation

• Probekörper: Rechteckige Platte, homogenes Material (z.B. Stahl)
• Mechanische Simulation: MBP mit Masse-Feder System
• Defekt: Fehlende Massekörper (und Verbindungsfedern)
• Sensoren: Dehnung (Oberfläche), synthetisch
• Anregung: Schwingung der Platte durch Erdgravitation

Analyse

• Einzelinstanz- und Multiinstanzlernen mit verschiedenen Lernmodellen und Algorithmen
• Prädiktorfunktion: Kategorische Schadensklassifikation (Ortssegment)

Ergebnisse Schadensprädiktion (Global)

• Eine globale Lerninstanz

[Bosse et al., ECSA 2019]

Ergebnisse Schadensprädiktion (Lokal)

• 3 × 4 lokale Sensorknoten und Lerninstanzen mit globaler Fusion (Mehrheitsentscheid)

[Bosse et al., ECSA 2019]

Rechenkomplexität

• Genauigkeit der Schadensprädiktion ist nicht alles!!!

Demonstration

Beispiel: Verteiltes Sensornetzwerk mit Ultraschallsensoren

Aufbau

Experiment

• Probekörper: CFK Platte (500 × 500 mm)
• Messverfahren: Luftultraschall 2D Scan (Raster: 2mm), DLR Braunschweig
• Sensor: Luftultraschallmesskopf
• Anregung: Gekoppelter Piezoaktuator
• Defekt: Auf die Oberfläche geklebter oder gekitteter Pseudodefekt (rund, 20mm)

Analyse

• Überwachtes Multiinstanzlernen mit einem virtuellen Sensornetzwerk (8 × 8 Knoten)
• Prädiktorfunktion: Erkennung und numerische Approximation der räumlichen Position eines Pseudodefekts
• Modell- und Lernverfahren: Rückgekoppeltes künstl. neuronales Netzwerk mit LSTM Zellen

Framework

Konzept: Virtuelles verteiltes Sensornetzwerk

Feature Selektion

1. Downsampling der rohen Sensorsignals (ca. 4000 Samples auf der Zeitachse) 1:10 (Entnahme jedes 10-ten Sampels)

2. Am Ort eines virtuellen Sensors S(x,y) wird ein 2 × 2 Pixelfeld auf einen Sensor reduziert (räumliche Mittelwertbildung)

3. Downsampling des reduzierten Sensorsignals 1:4 (Mittelwertbildung, Zeitachse)

4. Diskrete Wavelet Transformation mit HP/TP Filtern (4 Ebenen)

Modell

• Künstliches Neuronales Netzwerk

• Im Falle des Featurevektors DWT=[d₁,d₂,d₃,d₄] gibt es 4 Eingangsneuronen

• Ein Ausgangsneuron (Sigmoid Aktivierungsfunktion, Ausgangssignal [0,1] → No Damage/Damage)

• Eine innere Schicht mit 6 Long-short-term Memory Zellen (LSTM)

Trainingsalgorithmus

1. Zufällige Auswahl eines Experiments e ∈ E

2. Für alle Knoten des Netzwerks Schritte 3-6 durchführen:

3. Sequenzielle Aktivierung (Forwardpropagation) der selektierten Featurevariablen (DWT 1,2,3,4)

4. Backpropagation des Knotenfehlers error=y-y_target (Defekt oder kein Defekt in der Umgebung)

   • Niedrige Lernrate α = 0.05!

5. Globale Fehlerakkumulation aktualisieren (Richtig-positiv/negativ, Falsch-positiv/negativ)

6. Schritte 3-5 n-mal wiederholen

7. Schritte 1-6 m-mal wiederholen bis Fehlergrenze unterschritten ist

Trainingsalgorithmus

8. Trainings- und Testdatenevaluation
   • Einzelne signifikant fehlerhafte Knoten identifizieren und selektiv trainieren
   • Insbesondere die Baselineexperimente (kein Defekt) müssen fehlerfrei erkannt werden (keine aktivierten Knoten)

Prädiktion und Lernerfusion

• Die einzelnen Knoten des Sensornetzwerkes arbeiten mit lokalen Sensordaten
• Jeder Knoten liefert eine Abschätzung ob in einem bestimmten Radius r um seinen Ort ein Defekt vorhanden ist
• Es kommt zu falsch-positiv und falsch-negativ Klassifikationen
• Alle positiven Aktivierungen im Netzwerk werden erfasst und von den Sensorpositionen die räumliche Schwerpunktposition bestmmt
  • Besonders kritisch: Der Baselinefall (Nullmessung ohne Defekt)
• Aber: Die Aktivierungen sollten in Clustern auftreten - sporadische einzelne Knotenaktivierungen können noch diskriminiert werden!

Ergebnisse

2D Konfusionsmatrix

Ergebnisse

Prädiktionsergebnisse

Zusammenfassung

1. Ziel von Maschinellen Lernen in der Zustandsüberwachung von Bauteilen und Materialprüfung ist hier die Ableitung von Prädiktorfunktionen die als Ziel- und Ausgabevariable:

   • Kategorische Werte (Klassifikator), oder
   • Numerische Werte (Approximatorfunktion) liefern.

2. Es wird unterschieden:

   • Das Modell welches eine Hypothese der zu suchenden Prädikatorfunktion darstellt
   • Der Algorithmus der das Modell erzeugt, trainiert, und die Inferenz implementiert (Ausgabe)

3. Deep Learning ist nicht alles!

   • Klassische oder verbesserte Entscheidungsbaumlerner (schlank und “echtzeitfähig”) können auch für SHM eingesetzt werden!

4. Einfache Verfahren (KISS Prinzip) sind meist komplexen Algorithmen überlegen!

5. Verteiltes Ensemble Lernen mit Lernerfusion ist globalen Einzelinstanzlernen überlegen!