Sum of and Sum of Sum of Sum of due for Sales proceed for ...
1/97 Segmentierung The whole is greater than the sum of its parts. Max Wertheimer 10.
-
Upload
eberhart-schneeberg -
Category
Documents
-
view
219 -
download
1
Transcript of 1/97 Segmentierung The whole is greater than the sum of its parts. Max Wertheimer 10.
1/97
Segmentierung
“The whole is greater than the sum of its parts.”
Max Wertheimer
10
2/97
Inhalt Einführung
Bildverarbeitungssystem Segmentierung
Kantenbasiert Kantendetektion Konturverfolgung Modellbasiert Hough – Transformation
Pixelorientiert Regionenbasiert
Region Growing Split & Merge Wasserscheide
3/97
EinführungZiel1. Unterscheidung von „Teilbildern/Inhalte“ 2. Automatische Klassifikation jedes Inhalts
BeispieleMedien – SchrifterkennungBiometrie – Erkennung von PersonenProduktionsanlagen – Identifizierung von TeilenMedizin – Identifizierung von Zellen/GewebeUmwelt – Auswertung von Luftaufnahmen
4/97
Beispiele
5/97
EinführungSegmentierung Zusammenfassen von Punkten zu größeren Einheiten Unterteilung des Bildes in „zusammenhängende“ Bereiche, BildsegmenteKlassifizierung Zuweisung von Bereichen in „Objektklassen“
Segmentierung ist der erste Schritt der erkennenden Bildverarbeitung
Segmentierung ist eines der komplexesten Kapitel der Bildverarbeitung !
6/97
Schritte der Bildverarbeitung
7/97
BildverarbeitungssystemStufen eines Bildverarbeitungssystems
Bilderfassung
Bildvorverarbeitung
Segmentierung
Merkmalsextraktion
Klassifikation
8/97
Objekte werden mit Sensorik erfasst
Nur erfasste Eigenschaften können ausgewertet werden
1: Bilderfassung
9/97
2: Bildvorverarbeitung
Bildmodifikation, welche den Informationsgehalt nicht bedeutend ändert
Beispiele:• Beleuchtungskorrekturen• Rauschreduzierung• Kontrasterhöhung• Größenanpassung
10/97
Gegeben Bild B mit Bildpunkten f1,...,fn
Gesucht Regionen Ri für die gilt:
•
•
• jiffRfRf tsjtis ~:,
ji RR
BRsii
,..,1
3: Segmentierung
11/97
Merkmale beschreiben Eigenschaften von Objekten
Einfache Merkmale• Umschreibendes Rechteck• Mittlerer Intensität• Flächeninhalt• Schwerpunkt• Umfang
Abgeleitete Merkmale• Kompaktheit• Lage, Orientierung
4: Merkmalsextraktion
12/97
5: KlassifizierungKlassifizierung von Objekten anhand ihrer Merkmale
Notwendige VoraussetzungMerkmalsanalyse / Clustering des Merkmalraums
Beispiel
13/97
Einfache/Heuristische Vorgehensweise
Durch a-priori-Wissen Segmente identifizieren / ausschließen
• Segmente kleiner N Pixel werden ignoriert• Segmente außerhalb des Area-Of-Interest / Region-Of-Interest werden ignoriert• Größenverhältnis• Farbe
6: Erfassung von Objekten
14/97
Segmentierung
15/97
Gegeben Bild B mit Bildpunkten f1,...,fn
Gesucht Regionen Ri für die gilt:
•
•
• jiffRfRf tsjtis ~:,
ji RR
BRsii
,..,1
Segmentierung
16/97
Strategien
Diskontinuität Kanten
Ähnlichkeit Schwellwert („lose“ Punkte) Wachstumsverfahren (Regionen)
17/97
Segmentierung durch Detektion von Diskontinuitäten
18/97
Detektion von DiskontinuitätenDetektion von scharfen, lokalen Änderungen der Bildintensität
Kantenpunkte
Kanten entstehen durch die Verbindung von Kantenpunkten
19/97
Detektion von Diskontinuitäten
Laplace: Punkte-Detektoren
20/97
Detektion von Linien
Gradienten: Linien-Detektoren
21/97
Detektion von Linien
Laplace
Absolute Positive
22/97
Kantenbasierte VerfahrenKanten entsprechen häufig den Konturen der gesuchten Objekte
Im Gegensatz zu punktbasierten Verfahren werden die gesuchten Objekte nicht als Fläche, sondern als Umrandung extrahiert
Verarbeitungsschritte Hochpaß Konturverfolgung Konturverdünnung / Skelettierung / Thinning Bestimmung der umrandeten Gebiete
23/97
Kantentypen
24/97
Kantentypen
25/97
Reele Kanten
26/97
Kantenextraktion
Bild
Profil einerhorizontalen Linie
Erste Ableitung
Zweite Ableitung
Extremum
Nulldurchgang
27/97
Kantenextraktion Berechnung der Ableitung in jedem Pixel:
Ableitungsfilter 1. Ordnung(Roberts)
Ableitungsfilter mit einfacher Mittelwertbildung (Prewitt, Sobel)
Ableitungsfilter 2. Ordnung(Laplace)
Ableitungsbilder werden (mittels Schwellwert) binarisiert
28/97
KantenextraktionAbleitungsfilter 1er Ordnung (Gradienten): Linienfilter „Dicke” Linien Nicht sehr rauschempfindlich
Ableitungsfilter 2er Ordnung (Laplace): Punktefilter „Dünne“ Linien Rauschempfindlich
29/97
A B C
D
Beispiele
A: OriginalB: PrewittC: SobelD: Laplace
30/97
Einfluß von Rauschen
Var = 0.1
Var = 1
Var = 10
1. Ableitung 2. Ableitung
Rauschfrei
31/97
LoG Operator („Mexican hat“)
32/97
LoG Operator („Mexican hat“)
Tiefpaß & Laplace
Zero crossing
Zero crossing
4% Schwelle
33/97
KantendetektionSobel
LoG Schwellwert Zero Cross
34/97
Konturverfolgung: CannyZiel
Binärbild mit möglichst geschlossenen Konturen
Einfaches VorgehenVon Startpunkt aus wird der nächste Konturpunkt entlang eines Suchstrahls identifiziertRichtung ergibt sich aus bereits erhaltenen Punkten oder dem Gradienten
NachteilEinmalige Fehlberechnung führt zu falscher Kontur
35/97
Vorgehen1. Tiefpaß mit Gauß Kernel2. Berechne Gradienten M und Senkrechte a 3. „Verdünne“ Gradienten, Unterdrücke lokale Minima:
Unterteile alle Kanten in 4 Hauptrichtungen (N-S, O-W, NO-SW, NW-SO)
Ordne a zu einer Hauptrichtung Falls Gradient M kleiner als einer der Nachbargradienten entlang
der Hauptrichtung, Stopp
4. Definiere zwei Schwellen Thigh und Tlow (~3:1) Thigh Punkte werden sofort als „Kantenpunkte“ definiert
5. Prüfe Konvektivität Verbinde Thigh Punkte über andere Thigh oder Tlow Punkte
36/97
Orientierung der Normale
37/97
Konturverfolgung
Kante
Gradient
Hintergrundx
y
f(x,y)(Grauwert)
Suchrichtung senkrecht zum Gradienten
Objekt
38/97
Gradient vs. LoG vs. Canny
39/97
Gradient vs. LoG vs. Canny
40/97
Hough Transformation
Ziel: „Globale“ LinienerkennungTransformiert das Segmentierungsproblem im Bildraum in ein Finden von lokalen Maxima („Punkte“) im Parameterraum
Man habe n Punkte vorsegmentiert Suche Submengen dieser Punkte, welche auf
Geraden liegen
41/97
Hough Transformation
BildraumParameterraumHough-Raum
'' dxky
)( 2,2 yxB )( 1,1 yxA
22 ykxd
11 ykxd
k
y
x 'k
'd
d
Im Parameterraum wird jeder Punkt des Bildraums durch eine Gerade abgebildet
Punkte, die auf einer Gerade liegen, schneiden sich an einer Stelle (Fächern)
42/97
Hough TransformationFür einen beliebigen Punkt (xi, yi) im Bild gilt:
yi = axi + b Es gibt unendlich viele a & b, welche die Gleichung erfüllen
b = -xia + yi in der ab Ebene alle a & b liegen auf einer Gerade Die ab-Geraden von ko-linearen Punkten schneiden sich!
43/97
Geraden Detektion Finde alle Kanten im Bild (= Hochpaß, Menge von Punkten) Unterteile den Parameterraum in Zellen Für jeden detektierten Punkt (xk, yk) im Bild:
Setze ai zu einem Zellenwert aus i = (imin, imax ) Löse bi = -xkai + yk und finde bi
Inkrementiere entsprechende (ai, bi) Zelle
44/97
Hough Transformation
1
2
3
6
7
8
5
4
1 2 3 4 5 6 7 8 9 10
1
2
3
6
7
8
5
4
0.2 0.4 0.6 0.8 1
1
1
1 1 1
2 3 2 1
1 2 3 3 4
1 1 1 2 5 6 5 2 1 1 1
4 3 3 2 1
1 2 3 2
1 1 1
Bildraum
Parameter-raum
Akkumulator
1
2
3
6
7
8
5
4
00 0.2 0.4 0.6 0.8 1
y
x
k
d
45/97
Hessesche Normalenform:
Parameter (Radon Transformation)
sincos yxp
cossin
, npxn Hough Transformation
x
y
´
p´n
,p
46/97
Hough Transformation Punkte im Bildraum bilden sich auf Sinus-Kurven
im Parameterraum ab Alle Sinus-Kurven ko-linearer Punkte schneiden
sich an einer Stelle
47/97
Hough Transformation
48/97
Hough Transformation
49/97
Hough Transformation
x
max ( ) ,R x xo 94 101
x
50/97
Hough Transformation
51/97
Hough Transformation
Original Kantenbild
Hough-Raum Ergebnis
52/97
Hough Transformation
53/97
Hough TransformationVerhalten• Robust gegenüber unterbrochenen Linien: Wert wird zwar verringert, lokales Maximum bleibt• Bei verrauschten Linien: Cluster mit hohen Werten anstatt diskretes Maximum
54/97
Hough Transformation
55/97
Segmentierung durch Detektion von Ähnlichkeiten
56/97
Schwellwertverfahren Global: T fester Grauwert Dynamisch/adaptiv: T hängt von der Position
innerhalb des Bildes ab Lokal: T hängt von den lokalen Grautönen ab (z.B.
lokalen Mittelwert)
57/97
Verfahren Schwellwertverfahren Bereichswachstum Split-and-merge Wasserscheide
58/97
Punktorientierte SegmentierungEinfacher Schwellwert T (Threshold)= Segmentierung aufgrund der Grauwertinformation
2550für
, wenn ,0, wenn ,1
,
TTyxfTyxf
yxg
T
59/97
Multi-modale Histogramme
60/97
Punktorientierte Segmentierung
61/97
Punktorientierte Segmentierung
1 23
62/97
RauscheneinflußVar = 10 Var = 50
63/97
Rauschentfernung & Schwellwert
64/97
Rauschentfernung in kleinen Regionen
65/97
Gradient & lokale Histogramme
66/97
Beleuchtungseinfluß
67/97
BeleuchtungseinflußErweiterung auf multimodale Histogramme
1T 2T
68/97
Beleuchtungseinfluß
69/97
Adaptives Schwellwertverfahren
70/97
Adaptives Schwellwertverfahren
71/97
Adaptives Schwellwertverfahren
72/97
Adaptives Schwellwertverfahren
74/97
Lokaler Schwellwert
75/97
Regionenbasierte VerfahrenZiel
Aufteilung des Bildes in Zonen maximaler Homogenität (Grauwert, Farbe, etc.)
VerfahrenBottom up: Region Growing Top Down: Split & Merge
Vorteil• Information über Nachbarschaft• Robuster bei verrauschten Bildern
76/97
Ausgehend von n-Ursprungspixel (Saatzellen, seed points) werden andere Pixel, die ein Homogenitätskriterium erfüllen, aggregiert
Region Growing
R1
R2
R3
77/97
Parameter Anzahl & Position der Startpunkte Homogenitätskriterium
Intensität Farbe Statistiken, Textur
Stopp Regelung Lokale Kriterien: Grauton/Farbe, Textur Regionsgröße und –Form (Addaptive) Ähnlichkeit zu der Region
78/97
Region Growing1. Setzen von n Seed Points (Initiale Regionen)
- Zufällig- Aufgrund von Beurteilung des Bildinhalts
2. Untersuchung der 4 (oder 8)-NachbarschaftFall1: Punkt gehört zu keiner Region & H.-Krit. erfüllt Zuordnung zur RegionFall2: Punkt gehört zu keiner Region & H.-Krit. nicht erfüllt Keine ZuordnungFall3: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium erfüllt Regionen werden vereinigtFall4: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium nicht erfüllt Keine Vereinigung
3. Wiederhole 1 und 2 bis keine Änderungen mehr eintreten
79/97
Region Growing
Originalbild Segmentiertes Bild
81/97
Region GrowingProblem• Wahl der Seed Points• Wahl des Homogenitätskriteriums• Formulierung des Stop-Kriteriums
Vorteile• Einfache Erweiterbarkeit auf 3D• Eleganteste Lösung multimodaler Historgamme
Nachteile• Unterschiedliche Seed Points können zu vollständig anderen Segmentierungen führen• Anzahl der Regionen muß vorher festgelegt werden
82/97
Split & Merge
Unterteilung und Verbindung von Bereichen in Quadrate entsprechend einem Homogenitäts-kriterium.
Beispiele für Homogenitätskriterium:Grau-/Farbwerte identisch/ähnlich Grau-/Farbwerte im gleichen Intervall Grau-/Farbwerte ähnlich verteilt (Momentum, Textur)
83/97
Split & Merge
1R 2R
3R41R
44R43R42R
Split Region Ri, wenn:
P(Ri)=false
Merge angrenzende und homo-gene Regionen Ri und Rj, wenn:
P(RiRj)=true
Rekursionen beendet, wenn kein weiteres Unterteilen / Vereinigen mehr möglich ist
84/97
Split & Merge
1 2
00 01 02 03 30 32 33
310 311 312 313
Quadtree 1
2
00
02
01
03
30
32 33
310311312314
85/97
Split
Merge
Gefahr von „Overgrowing“ – zu viele Regionen „Undergrowing“ – zu wenige Regionen
86/97
Split & Merge
Eliminierung von kleinen Regionen infolge Overgrowing:
• Suche die kleinste / eine kleine Region Ri• Finde die benachbarte Region Rn zu der Ri unter
Berücksichtigung des Homogenitätskriteriums ambesten paßt und vereinige diese
Diese Schritte werden so lange wiederholt, bisalle Regionen eine vorgegebene Mindestgrößebesitzen
87/97
Split & Merge
32 ²
16² 8²
88/97
Wasserscheide Segmentierung
89/97
Wasserscheide Segmentierung
90/97
Damm Konstruktion Finde letzten Schritt vor
Vereinigung M1 und M2
Finde vereinigte Menge q Dilatiere M1 und M2:
Strukturelement platziert nur in q Keine Dilatation an Stellen,
welche M1 und M2 vereinigen Damm sind die übrig
gebliebenen Pixel innerhalb von q
91/97
Wasserscheide Segmentierung auf Gradientenbild
92/97
Über-Segmentierung der Gradientenbilder
93/97
Marker Konstruktion1. Tiefpaßfilterung2. Vereine Nachbarpunkte gleichen Grautons = seeds 3. Wasserscheide auf den Seeds4. => Unterteilung des Gesamtbildes in „Zellen“5. Gradient des Gesamtbildes6. Wasserscheide lokal in jeder „Zelle“
94/97
Marker-Boundaries
95/97
Markers Berücksichtigung von a-priori „Wissen“ oder „Kontext“ über
das Bild Größe Form Position Orientierung Relative Abstände Textur etc. etc.
96/97
Wissen Berücksichtigung
97/97
Modellbasiertes Segmentieren• Berücksichtigung von a priori Informationen über Art und Aussehen
der zu segmentierenden Objekte
• Mensch besitzt ein „Modell“ des Objektes im Kopf, das Segmentieren vereinfacht:
Die Kreisausschnitte werdenzu durchgehenden Streckenergänzt