make sensing smart!

ZESS 2030: „Make Sensing Smart“ Sensor Information & Signal Processing

Joachim H.G Ender 1

make sensing smart!

Make Sensing smart…

1. Sensoren sind die „Sinne“ eines Sensor/Informationssystems, 2. Sensorsignalverarbeitung gewinnt Information, 3. Information Extraction interpretiert die Information im Hinblick auf

Anwenderrelevanz.

2

make sensing smart!

Make Sensing smart…

1. Sensoren sind die „Sinne“ eines Sensor/Informationssystems, 2. Sensorsignalverarbeitung gewinnt Information, 3. Information Extraction interpretiert die Information im Hinblick auf

Anwenderrelevanz.

• Abstrahierender Blick auf die „Welt“ und unsere Sensoren (Sinne)… • Lineare Sensoren und die inverse Rekonstruktion

• Beispiel: SAR • Compressive sensing zur Lösung schlecht konditionierter Inversionsprobleme • Rawdata to information conversion • Dictionaries für Informationsgewinnung, Strukturanalyse und Klassifizierung

• Beispiele: ISAR, Rekonstruktion impulsförmiger Lasten, PMD-TOF Bildgebung mit Unterdrückung von Mehrfachreflexionen

• Dictionary learning • Inverse Probleme mit unscharfen Signalmodellen

• Beispiel: ISAR Autofokus 2

make sensing smart!

Der abstrahierende Blick auf die „Welt“ und unsere Sensoren (Sinne)…

3

make sensing smart!

• Lineares Vorwärtsmodell:

• Inverse Rekonstruktion (linear) z.B. Matched filter (nicht linear) z.B. Compressive sensing

Lineare (bildgebende) Sensoren

4

make sensing smart!

• Lineares Vorwärtsmodell:

• Inverse Rekonstruktion (linear) z.B. Matched filter (nicht linear) z.B. Compressive sensing

• Beispiele für „projektive“ Bildgebungsgeometrien: • SAR: zirkulare Radon Transformation • Seismic Imaging, seismic exploration • Akustische Bildgebung • THz imaging • PMD Multipath Interference – komplexe Überlagerung der Einzelechos • Röntgen Tomographie CRT – Radon Transformation • Magnetresonanztomographie – Fourierspektren

Lineare (bildgebende) Sensoren

4

make sensing smart!

5

make sensing smart!

Verschiedene Sensoren – ein Modell

5

make sensing smart!

Verschiedene Sensoren – ein Modell Beispiel: SAR

5

make sensing smart!

Inertialnavigation Kurs/Lage

Verschiedene Sensoren – ein Modell Beispiel: SAR

5

make sensing smart!

Inertialnavigation

Satellitennavigation Digitale Höhenkarte

Kurs/Lage

Verschiedene Sensoren – ein Modell Beispiel: SAR

5

make sensing smart!

Inertialnavigation

Satellitennavigation

Antennencharakterisierung

Wellenausbreitung

Digitale Höhenkarte

Kurs/Lage

Verschiedene Sensoren – ein Modell Beispiel: SAR

5

make sensing smart!

SAR als Beispiel für das Zusammenwirken der drei „Säulen“

Entwicklung von SAR-Systemen,

Messkampagnen

6

make sensing smart!

SAR als Beispiel für das Zusammenwirken der drei „Säulen“

Entwicklung von SAR-Systemen,

Messkampagnen

Algorithmen zur Bilderzeugung

6

make sensing smart!

SAR als Beispiel für das Zusammenwirken der drei „Säulen“

Entwicklung von SAR-Systemen,

Messkampagnen

Algorithmen zur Bilderzeugung

Informations-extraktion

6

make sensing smart!

SAR Rohdaten

Beispiel: SAR Prozessierung

• Traditionell: Matched filter – Schnelle FFT-basierte Algorithmen

7

make sensing smart!

SAR Rohdaten

Fertiges SAR-Bild

SAR-Signalverarbeitung

Beispiel: SAR Prozessierung

• Traditionell: Matched filter – Schnelle FFT-basierte Algorithmen

7

make sensing smart!

• SAR beim ZESS – Prozessierung von

SAR/ISAR Rohdaten • Fernerkundungssatelliten

(DLR TERRA-SAR, TANDEM-X)

• Flugzeuge (Fraunhofer FHR PAMIR, Turntable,...)

• Eigene Geräte (Rausch-SAR, ...)

– Interferometrisches SAR

8

make sensing smart!

• SAR beim ZESS – Prozessierung von

SAR/ISAR Rohdaten • Fernerkundungssatelliten

(DLR TERRA-SAR, TANDEM-X)

• Flugzeuge (Fraunhofer FHR PAMIR, Turntable,...)

• Eigene Geräte (Rausch-SAR, ...)

– Interferometrisches SAR • Bistatisches SAR, Passiv-SAR • Bistatische Rohdaten Satellit-

Flugzeug, Flugzeug-Flugzeug, FHR)

• Bodengebundene Empfänger (Hitchhiker,..)

• Astra-SAR

Bistatische Interferometrie (Reuter/Behner)

8

make sensing smart!

• SAR beim ZESS – Prozessierung von

SAR/ISAR Rohdaten • Fernerkundungssatelliten

(DLR TERRA-SAR, TANDEM-X)

• Flugzeuge (Fraunhofer FHR PAMIR, Turntable,...)

• Eigene Geräte (Rausch-SAR, ...)

– Interferometrisches SAR

ZESS kann SAR!

• Bistatisches SAR, Passiv-SAR • Bistatische Rohdaten Satellit-

Flugzeug, Flugzeug-Flugzeug, FHR)

• Bodengebundene Empfänger (Hitchhiker,..)

• Astra-SAR

Bistatische Interferometrie (Reuter/Behner)

8

make sensing smart!

• SAR beim ZESS – Prozessierung von

SAR/ISAR Rohdaten • Fernerkundungssatelliten

(DLR TERRA-SAR, TANDEM-X)

• Flugzeuge (Fraunhofer FHR PAMIR, Turntable,...)

• Eigene Geräte (Rausch-SAR, ...)

– Interferometrisches SAR

ZESS kann SAR!

• Bistatisches SAR, Passiv-SAR • Bistatische Rohdaten Satellit-

Flugzeug, Flugzeug-Flugzeug, FHR)

• Bodengebundene Empfänger (Hitchhiker,..)

• Astra-SAR

Bistatische Interferometrie (Reuter/Behner)

Posterpräsentationen und Lab Tour! 8

make sensing smart!

Compressive Sensing

9

make sensing smart!

Compressive Sensing

Verschiedene Sensoren – ein Modell

9

make sensing smart!

Compressive Sensing

Verschiedene Sensoren – ein Modell • Unterbestimmtes Gleichungssystem

9

make sensing smart!

Compressive Sensing

Verschiedene Sensoren – ein Modell • Unterbestimmtes Gleichungssystem • Eindeutig lösbar unter sparsity-

Bedingungen an x

9

make sensing smart!

Compressive Sensing

Verschiedene Sensoren – ein Modell • Unterbestimmtes Gleichungssystem • Eindeutig lösbar unter sparsity-

Bedingungen an x

• Einsatz: • Sparsame Messungen • Verfeinertes Raster

(Superauflösung) • Dictionaries

9

make sensing smart!

Compressive Sensing

Verschiedene Sensoren – ein Modell • Unterbestimmtes Gleichungssystem • Eindeutig lösbar unter sparsity-

Bedingungen an x

• Einsatz: • Sparsame Messungen • Verfeinertes Raster

(Superauflösung) • Dictionaries

• Anwendungen • Sensoren (Radar, Optik,

Tiefenkamera,...) • Bildverarbeitung

9

make sensing smart!

Compressive Sensing

Verschiedene Sensoren – ein Modell • Unterbestimmtes Gleichungssystem • Eindeutig lösbar unter sparsity-

Bedingungen an x

• Einsatz: • Sparsame Messungen • Verfeinertes Raster

(Superauflösung) • Dictionaries

• Anwendungen • Sensoren (Radar, Optik,

Tiefenkamera,...) • Bildverarbeitung

Rückwirkungen auf den Entwurf von Sensorsystemen (z.B. ‘sparse array’)

9

make sensing smart!

• Zentrale Optimierungsaufgabe:

10

make sensing smart!

• Zentrale Optimierungsaufgabe:

Entwicklung schnell konvergierender rauschoptimaler CS Rekonstruktions-

Algorithmen beim ZESS (Loffeld, Hage)

Posterpräsentation!

10

make sensing smart!

• Zentrale Optimierungsaufgabe:

Entwicklung schnell konvergierender rauschoptimaler CS Rekonstruktions-

Algorithmen beim ZESS (Loffeld, Hage)

Forschungsfeld III Lernen dieser

Abbildungsmatrix (Möller)

Posterpräsentation!

10

make sensing smart!

Links: Konventionell prozessiertes SAR-Bild Rechts: Mit CS generiert - Rohdaten gewonnen mit AER-II (FHR)

Beispiel: SAR Prozessierung

11

make sensing smart!

Links: Konventionell prozessiertes SAR-Bild Rechts: Mit CS generiert - Rohdaten gewonnen mit AER-II (FHR)

Kooperation FHR - ZESS

Beispiel: SAR Prozessierung

11

make sensing smart!

Rawdata to information conversion

12

make sensing smart!

Forschungsfeld III High Level Information

Extraction

Rawdata to information conversion

12

make sensing smart!

Sparse representation - dictionaries

13

make sensing smart!

• Oft ist nicht das zu erzeugende Bild (pixel)-sparse, aber es erlaubt eine lineare Darstellung in einem dictionary mit sparsem Koeffizientenvektor:

Sparse representation - dictionaries

13

make sensing smart!

• Oft ist nicht das zu erzeugende Bild (pixel)-sparse, aber es erlaubt eine lineare Darstellung in einem dictionary mit sparsem Koeffizientenvektor:

Sparse representation - dictionaries

13

make sensing smart!

• Oft ist nicht das zu erzeugende Bild (pixel)-sparse, aber es erlaubt eine lineare Darstellung in einem dictionary mit sparsem Koeffizientenvektor:

• Mehr Information über das Objekt, Strukturanalyse, Klassifizierung

Sparse representation - dictionaries

13

make sensing smart!

• Oft ist nicht das zu erzeugende Bild (pixel)-sparse, aber es erlaubt eine lineare Darstellung in einem dictionary mit sparsem Koeffizientenvektor:

• Mehr Information über das Objekt, Strukturanalyse, Klassifizierung • Verbesserte Bildqualität für abbildende Sensoren (z.B. de-noising)

Sparse representation - dictionaries

13

make sensing smart!

• Oft ist nicht das zu erzeugende Bild (pixel)-sparse, aber es erlaubt eine lineare Darstellung in einem dictionary mit sparsem Koeffizientenvektor:

• Mehr Information über das Objekt, Strukturanalyse, Klassifizierung • Verbesserte Bildqualität für abbildende Sensoren (z.B. de-noising) • Typen von dictionaries:

– Gebräuchliche Basen wie wavelets (gut für Fotos, schlecht für SAR, ISAR) – Physikalische Rückstreumodelle – Gelernte dictionaries

Sparse representation - dictionaries

13

make sensing smart!

Kobra-System FHR

ISAR-Beispiel für physikalisch basierte dictionaries

14

make sensing smart!

• Jeder dictionary-Eintrag besteht aus einem elektromagnetisch berechnetem Signalmodell für gewölbte Oberflächen mit verschiedenen Positionen, Krümmungen, ...

Kobra-System FHR

ISAR-Beispiel für physikalisch basierte dictionaries

14

make sensing smart!

• Jeder dictionary-Eintrag besteht aus einem elektromagnetisch berechnetem Signalmodell für gewölbte Oberflächen mit verschiedenen Positionen, Krümmungen, ...

Kobra-System FHR

ISAR-Beispiel für physikalisch basierte dictionaries

14

make sensing smart!

• Jeder dictionary-Eintrag besteht aus einem elektromagnetisch berechnetem Signalmodell für gewölbte Oberflächen mit verschiedenen Positionen, Krümmungen, ...

Kobra-System FHR Ergebnis: Vektorzeichnung,

kein Pixel-Bild!

ISAR-Beispiel für physikalisch basierte dictionaries

14

make sensing smart!

Beispiel: Rekonstruktion impulsförmiger Lasten

Forschungsprojekt Prof. Fritzen 15

make sensing smart!

: Markov parameters

zeitdiskretes Ein- / Ausgangsmodell:

Beispiel: Rekonstruktion impulsförmiger Lasten

Forschungsprojekt Prof. Fritzen 15

make sensing smart!

: Markov parameters

zeitdiskretes Ein- / Ausgangsmodell:

Beispiel: Rekonstruktion impulsförmiger Lasten

Lineares sensing Modell!

Forschungsprojekt Prof. Fritzen 15

make sensing smart!

: Markov parameters

zeitdiskretes Ein- / Ausgangsmodell:

Kurze Zeitdauer: Örtliche Konzentration:

Lastcharakteristik:

Beispiel: Rekonstruktion impulsförmiger Lasten

Lineares sensing Modell!

Forschungsprojekt Prof. Fritzen 15

make sensing smart!

: Markov parameters

zeitdiskretes Ein- / Ausgangsmodell:

Kurze Zeitdauer: Örtliche Konzentration:

Lastcharakteristik:

Beispiel: Rekonstruktion impulsförmiger Lasten

Sparse in Raum und Zeit!

Lineares sensing Modell!

Forschungsprojekt Prof. Fritzen 15

make sensing smart!

: Markov parameters

zeitdiskretes Ein- / Ausgangsmodell:

Kurze Zeitdauer: Örtliche Konzentration:

Lastcharakteristik:

Gesucht: Ort und Verlauf der Anregung u(t), Form und Weite des Impulses werden in einem dictionary hinterlegt.

Beispiel: Rekonstruktion impulsförmiger Lasten

Sparse in Raum und Zeit!

Lineares sensing Modell!

Forschungsprojekt Prof. Fritzen 15

make sensing smart!

Lastrekonstruktion: Impuls aus Hammerschlag, Hammer mit Kraftsensor, Antwortmessung mittels Beschleunigungsaufnehmern

Sensoranzahl 5

Messrauschen σ = 0,02m/s2

Impulsanregung [cm] x1= 72,7; y1= 45,5

Geschätzte Position [cm] x1= 72,7; y1= 45,5

Abweichung

Fehler Betragsschätzung 7,77%

Form, Zeitpunkt und Ort des Kraftimpulses werden richtig identifiziert. 16

make sensing smart!

• Bei einer Tiefenkamera können Mehrfachreflexionen, z.B. an halbdurchlässige Grenzflächen, erhebliche Störungen des 3D Bildes-hervorrufen.

• Mittels compressive sensing – Verfahren können diese identifiziert und eliminiert werden.

Beispiel: PMD-TOF Bildgebung mit Unterdrückung von Mehrfachreflexionen

17

make sensing smart!

• Bei einer Tiefenkamera können Mehrfachreflexionen, z.B. an halbdurchlässige Grenzflächen, erhebliche Störungen des 3D Bildes-hervorrufen.

• Mittels compressive sensing – Verfahren können diese identifiziert und eliminiert werden.

Beispiel: PMD-TOF Bildgebung mit Unterdrückung von Mehrfachreflexionen

Forschungsprojekt M. Heredia Conde

17

make sensing smart!

• Bei einer Tiefenkamera können Mehrfachreflexionen, z.B. an halbdurchlässige Grenzflächen, erhebliche Störungen des 3D Bildes-hervorrufen.

• Mittels compressive sensing – Verfahren können diese identifiziert und eliminiert werden.

Beispiel: PMD-TOF Bildgebung mit Unterdrückung von Mehrfachreflexionen

Forschungsprojekt M. Heredia Conde

Details im letzten Vortrag, Poster und Demo! 17

make sensing smart!

Lerne ein dictionary, das Q gleichartige Signale mit möglichst wenigen Atomen darstellen kann!

Dictionary learning

18

make sensing smart!

Lerne ein dictionary, das Q gleichartige Signale mit möglichst wenigen Atomen darstellen kann!

Spalten: Trainingssignale

Optimales dictionary

Spalten: Zugehörige sparse Koeffizientenvektoren

Dictionary learning

18

make sensing smart!

Lerne ein dictionary, das Q gleichartige Signale mit möglichst wenigen Atomen darstellen kann! Neue Signale dieses Typs werden sich sparse durch das optimale dictionary representieren lassen!

Spalten: Trainingssignale

Optimales dictionary

Spalten: Zugehörige sparse Koeffizientenvektoren

Dictionary learning

18

make sensing smart!

Lerne ein dictionary, das Q gleichartige Signale mit möglichst wenigen Atomen darstellen kann! Neue Signale dieses Typs werden sich sparse durch das optimale dictionary representieren lassen!

Spalten: Trainingssignale

Optimales dictionary

Spalten: Zugehörige sparse Koeffizientenvektoren

Dictionary learning

Signale: Bilder, Audio, PMD-Daten, Radardaten, Drucksensordaten, ...

18

make sensing smart!

Beispiel: Lernen von Strukturen im SAR-Bild

19

make sensing smart!

Aufteilung in patches, dictionary learning via K-SVD, Automatisches Erkennen von Strukturen

Beispiel: Lernen von Strukturen im SAR-Bild

19

make sensing smart!

Aufteilung in patches, dictionary learning via K-SVD, Automatisches Erkennen von Strukturen

Darstellung des Bildes im optimalen dictionary mit den größten S Koeffizienten Rauschunterdrückung!

Beispiel: Lernen von Strukturen im SAR-Bild

19

make sensing smart!

Unscharfe Vorwärtsmodelle

• Sensing-Matrix von einem unbekannten Parameter-Vektor abhängig:

20

make sensing smart!

Unscharfe Vorwärtsmodelle

• Sensing-Matrix von einem unbekannten Parameter-Vektor abhängig:

• Simultane Schätzung eines sparsen Koeffizienten-Vektors und des Paramenter-Vektors

20

make sensing smart!

– Abbildung bewegter Objekte, deren Bewegungsparameter (3D Translation, 3D Rotation) unbekannt sind.

– : Bewegungsparameter – : Signalmodell in Abhängigkeit der Bewegung

Beispiel: ISAR Autofokus

21

make sensing smart!

– Abbildung bewegter Objekte, deren Bewegungsparameter (3D Translation, 3D Rotation) unbekannt sind.

– : Bewegungsparameter – : Signalmodell in Abhängigkeit der Bewegung

Beispiel: ISAR Autofokus

• Optimierungsaufgabe: – Hoch nicht-konvex!

21

make sensing smart!

Forschungsfeld III Lernen dieser

Abbildungsmatrix (Möller)

– Abbildung bewegter Objekte, deren Bewegungsparameter (3D Translation, 3D Rotation) unbekannt sind.

– : Bewegungsparameter – : Signalmodell in Abhängigkeit der Bewegung

Forschungsfeld III Lernen dieser

Abbildungsmatrix (Möller)

Beispiel: ISAR Autofokus

• Optimierungsaufgabe: – Hoch nicht-konvex!

21

make sensing smart!

• Simulierte Daten mit ungleichförmiger Translations- und Rotationsbewegung

22

make sensing smart!

• Simulierte Daten mit ungleichförmiger Translations- und Rotationsbewegung

• Die Optimierungsaufgabe wurde durch segmentweise variable dictionaries gelöst.

• Laufendes Promotionsvorhaben 22

make sensing smart!

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.80

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8149.5

150

150.5

151

151.5

152

152.5

153

• Links: simulierte und geschätzte Winkelhistorien • Rechts: simulierte und geschätzte Entfernungshistorien

23

make sensing smart!

Berechnete ISAR-Bilder • Links: unter der Annahme einer gleichförmigen Bewegung • Mitte: mit perfekter Bewegungskompensation (vollständige Information) • Rechts: nach Autofocus (keine Bewegungsinformation verfügbar)

24

make sensing smart!

25

Der Blick in das „ZESS Universum“