Was ist Bildsegmentierung?
Segmentierung ist der Prozess der Unterteilung eines Bildes in eine Menge bedeutungsvoller Regionen zur weiteren Analyse
Eines der ältesten und am weitesten erforschten Probleme der Computer Vision
Regionseigenschaften zur Erleichterung der Bildsegmentierung
- Regionen sollten in bestimmten Merkmalen einheitlich / homogen sein
- Das Innere von Regionen sollte einfach und ohne Löcher oder fehlende Teile sein
- Benachbarte Regionen sollten sich in den Merkmalen, in denen sie einzeln homogen sind, signifikant voneinander unterscheiden
- Die Grenzen jeder Region sollten glatt und räumlich präzise sein
Verschiedene Ebenen der Regionsidentifikation und -segmentierung
Segmentierungsansätze
- Regionsbasiert
- Konturbasiert
- Auf Template-Matching basierend
- Auf Region-Splitting und -Merging basierend
- Auf globaler Optimierung basierend
Probleme und Herausforderungen
- Bislang gibt es kein einzelnes Segmentierungsverfahren, das für alle Probleme gut funktioniert
- Spezifisches Fachwissen über die Anwendung ist typischerweise unerlässlich für die Entwicklung erfolgreicher Computer-Vision-Methoden zur Segmentierung
- Selbst innerhalb einer Anwendungsdomäne können Bilder stark variieren
Schwellenwertverfahren (Thresholding)
Problematisch, wenn Regionen überlappende Intensitätsverteilungen aufweisen
K-Means-Clustering
Kann funktionieren, wenn die Anzahl der Cluster a priori bekannt ist
Problematisch, wenn die Anzahl der Cluster nicht a priori bekannt ist
Merkmalsbasierte Klassifikation
Segmentierung durch patchweise Merkmalsextraktion mittels Schiebefenster und anschließende Klassifikation … erfordert viele Trainingsbeispiele
Region-Splitting und -Merging
Grundlegender rechnerischer Ansatz
- Das gesamte Bild basierend auf Regionsstatistiken rekursiv in Teile aufteilen
- Regionen hierarchisch rekursiv zusammenführen
- Teilen und Zusammenführen sequentiell kombinieren
Region-Splitting und -Merging
- Die einfachstmögliche Technik
– Schwellenwertverfahren anwenden und anschließend zusammenhängende Komponenten berechnen
– Aufgrund von Beleuchtung und statistischen Schwankungen innerhalb von Objekten selten ausreichend
Connected-Components-Algorithmus
- Erster Durchlauf
N4
N8
– Jedes Pixel prüfen (von oben links nach unten rechts)
– Wenn es ein Objektpixel ist, seine Nachbarn prüfen (𝑁𝑁 4 oder 𝑁𝑁 8)
– Wenn keine Nachbarn ein Label haben, ein neues Label zuweisen
– Wenn Nachbarn bereits Labels haben, das kleinste zuweisen
– Label-Äquivalenzen während der Zuweisung erfassen
Äquivalenzmengen {1,2,6} {3,4,5}
- Zweiter Durchlauf
– Jedes Pixel prüfen (von oben links nach unten rechts)
– Jedes Label durch sein kleinstes Äquivalent ersetzen
– Alle Hintergrundpixel erhalten standardmäßig das Null-Label
Region-Splitting
- Clustering im Messraum
– Annahme, dass homogene Regionen im Bild als Cluster im Messraum erscheinen (einfaches Beispiel: das Histogramm)
– Metriken für Intra-Regions-Ähnlichkeit und Inter-Regions-Unähnlichkeit optimieren
– Clustering kann erreicht werden, indem die Täler im Raum gefunden und die Intervalle dazwischen als Cluster deklariert werden
– Segmentierung ist die Rückabbildung der Cluster in den Bildbereich
– Zusammenhängende Komponenten der Cluster-Labels bilden die Segmente
Zusammenführen durch Region Growing
– Ein Ähnlichkeitsmaß definieren
– Bei einem Startpixel (Seed-Pixel) für die Region beginnen
– Benachbarte Pixel zur Region hinzufügen, wenn sie ähnlich sind
– Vorherigen Schritt wiederholen, bis keine weiteren Pixel ähnlich sind
Wasserscheiden-Segmentierung
Basierend auf der Analogie der Flutung einer topografischen Oberfläche
Meyers Flutungsalgorithmus
1) Eine Menge von Markern auswählen, um die Flutung zu starten. Dies könnten beispielsweise alle lokalen Minima sein. Jedem ein anderes Label zuweisen.
2) Benachbarte Pixel jedes Markers in eine Prioritätswarteschlange einfügen. Ein Pixel mit ähnlicherem Grauwert hat eine höhere Priorität.
3) Das Pixel mit der höchsten Prioritätsstufe aus der Warteschlange entnehmen. Wenn die bereits gelabelten Nachbarn des entnommenen Pixels alle dasselbe Label haben, erhält das Pixel dieses Label. Alle noch nicht gelabelten Nachbarn, die noch nie in der Warteschlange waren, in die Warteschlange einfügen.
4) Schritt 3 wiederholen, bis die Warteschlange leer ist.
Die verbleibenden ungelabelten Pixel sind die Wasserscheidenlinien
Maximally Stable Extremal Regions
- Grundlagen von Maximally Stable Extremal Regions (MSER)
– Zusammenhängende Komponenten, die sich durch nahezu gleichmäßige Intensität auszeichnen und von kontrastierendem Hintergrund umgeben sind
– Konstruiert durch einen Prozess des Ausprobierens mehrerer Schwellenwerte und der Analyse der Form der zusammenhängenden Komponenten
– Ausgewählte Regionen sind zusammenhängende Komponenten, deren Form über eine große Spanne von Schwellenwerten nahezu unverändert bleibt.