Bildmerkmale
- Bildmerkmale sind im Wesentlichen Vektoren, die eine kompakte Repräsentation von Bildern darstellen •
- Sie repräsentieren wichtige in einem Bild dargestellte Informationen •
- Anschauliche Beispiele für Bildmerkmale:
- Blobs –
- Kanten –
- Ecken –
- Grate –
- Kreise –
- Ellipsen –
- Linien –
- Usw. …
Wir müssen Bilder als Merkmalsvektoren darstellen, um sie effizienter und robuster weiterverarbeiten zu können
Beispiele für die Weiterverarbeitung sind: –
- Objekterkennung –
- Bildsegmentierung –
- Bildklassifikation –
- Inhaltsbasierte Bildsuche –
- Bildzusammenfügung (Image Stitching) –
- Objektverfolgung
Eigenschaften von Merkmalen
- Warum verwendet man nicht einfach direkt die Pixelwerte? –
- Pixelwerte ändern sich mit Lichtintensität, Farbe und Richtung – Sie ändern sich auch mit der Kameraausrichtung – Und sie sind hochgradig redundant • Wiederholbarkeit (Robustheit) – Sollte trotz Änderungen von Beleuchtung und Blickwinkel an denselben Stellen in verschiedenen Bildern erkennbar sein • Salienz (Aussagekraft) – Ähnliche markante Punkte in verschiedenen Bildern sollten ähnliche Merkmale aufweisen • Kompaktheit (Effizienz) – Weniger Merkmale – Kleinere Merkmale
Bildvorverarbeitung
Merkmalsrepräsentation
Mustererkennung
Nachbearbeitung
Merkmalstypen
- Farbmerkmale –
- Farbhistogramm –
- Farbmomente •
- Texturmerkmale –
- Haralick-Texturmerkmale –
- Local Binary Patterns (LBP) – Skaleninvariante Merkmalstransformation (SIFT) –
- Texturmerkmalskodierung •
- Formmerkmale –
- Grundlegende Formmerkmale –
- Formkontext –
- Histogramm orientierter Gradienten (HOG)
Farbmerkmale
Farbe ist das am einfachsten zu berechnende Merkmal und invariant gegenüber Bildskalierung, Translation und Rotation • Beispiel: farbbasierte Bildsuche
Farbhistogramm
Repräsentiert die globale Verteilung von Pixelfarben in einem Bild – Schritt 1: Erstellen eines Histogramms für jeden Farbkanal (R, G, B) – Schritt 2: Verketten der Histogramme (Vektoren) aller Kanäle als endgültigen Merkmalsvektor
Farbmomente
Anwendungsbeispiel
Texturmerkmale
- Textur ist ein aussagekräftiges Unterscheidungsmerkmal zur Identifizierung visueller Muster mit Homogenitätseigenschaften, die nicht allein durch das Vorhandensein einer einzelnen Farbe oder Intensität entstehen können •
- Beispiel: Texturklassifikation
Haralick-Merkmale
- Haralick-Merkmale liefern eine Reihe statistischer Deskriptoren von Bildmustern, um die räumliche Beziehung zwischen benachbarten Pixeln, d. h. Texturen, zu erfassen –
- Schritt 1: Erstellen der Grauwert-Kookkurrenzmatrix (GLCM) –
- Schritt 2: Berechnen der Haralick-Merkmalsdeskriptoren aus der GLCM
- Schritt 1: Erstellen der GLCMs –
- Gegeben sei ein Abstand d bei einem Orientierungswinkel θ – Berechnen Sie die Kookkurrenzhäufigkeit (oder Wahrscheinlichkeit) des Übergangs von einer Graustufe l 1 zu einer anderen Graustufe l 2 mit einem Stichprobenabstand von d entlang der Achse, die einen Winkel θ mit der x-Achse bildet, und bezeichnen Sie dies als p(d, θ)(l 1, l 2) – Erstellen Sie die Matrix P(d, θ), deren Elemente (l 1, l 2) p(d, θ)(l 1, l 2) sind – Wenn die Anzahl der unterschiedlichen Graustufen im quantisierten Bild L beträgt, hat die Kookkurrenzmatrix P die Größe L×L
Aus Gründen der Recheneffizienz kann die Anzahl der Graustufen (L) durch Binning (ähnlich dem Histogramm-Binning) reduziert werden, z. B. L = 256/n, wobei n ein konstanter Faktor ist. – Verschiedene Kookkurrenzmatrizen können durch die Verwendung unterschiedlicher Kombinationen von Abstand (d) und Winkelrichtungen (θ) konstruiert werden. – Für sich allein liefern diese Kookkurrenzmatrizen kein Texturmaß, das sich ohne Weiteres als Texturdeskriptor verwenden ließe. – Die Informationen in den Kookkurrenzmatrizen müssen weiter als eine Reihe von Merkmalswerten extrahiert werden => Haralick-Deskriptoren.
Anwendungsbeispiel
Skaleninvariante Merkmalstransformation
- Das SIFT-Merkmal beschreibt die Texturmerkmale in einer lokalisierten Region um einen Schlüsselpunkt
- Der SIFT-Deskriptor ist invariant gegenüber gleichmäßiger Skalierung und Orientierung sowie teilweise invariant gegenüber affiner Verzerrung und Beleuchtungsänderungen
- Skalenraum-Extremwertdetektion: Finden von Maxima/Minima in DoG-Bildern (Difference of Gaussian) über Skalen hinweg
- Schlüsselpunktlokalisierung: Verwerfen kontrastarmer Schlüsselpunkte, Eliminieren von Kantenreaktionen
- Orientierungszuweisung: Rotationsinvarianz erreichen
- Schlüsselpunktdeskriptor: Berechnen von Gradientenorientierungshistogrammen
SIFT-Extremwertdetektion
Erkennen von Maxima und Minima im Skalenraum des Bildes
SIFT-Schlüsselpunktlokalisierung
- Verbessern und Reduzieren der Menge gefundener Schlüsselpunkte
- 3D-quadratische Anpassung im Skalenraum verwenden, um Subpixel-Optima zu erhalten –
- Verwerfen von kontrastarmen Punkten und Kantenpunkten mittels Hesse-Analyse
- Schätzen der Schlüsselpunktorientierung anhand lokaler Gradientenvektoren – Erstellen eines Orientierungshistogramms lokaler Gradientenvektoren – Finden der dominanten Orientierung aus der Hauptspitze des Histogramms – Erstellen eines zusätzlichen Schlüsselpunkts für die zweithöchste Spitze, wenn >80%
SIFT-Orientierungszuweisung
- Schätzen der Schlüsselpunktorientierung anhand lokaler Gradientenvektoren
- Ein Orientierungs-Histogramm lokaler Gradientenvektoren erstellen
- Die dominante Orientierung anhand der Hauptspitze des Histogramms ermitteln
- Zusätzlichen Schlüsselpunkt für die zweithöchste Spitze erstellen, wenn >80%
SIFT-Schlüsselpunktdeskriptor
- 4 x 4-Array von Gradientenhistogrammen, gewichtet nach Betrag
- 8 Bins im Gradientenorientierungshistogramm
- Insgesamt 8 x 4 x 4-Array = 128 Dimensionen
- 4 x 4-Array von Gradientenhistogrammen, gewichtet nach Betrag
Deskriptor-Matching
Bild-Stitching – SIFT-Schlüsselpunkte und Merkmalskorrespondenzen finden
Anpassung und Ausrichtung
Gegeben seien übereinstimmende Punkte A und B, Schätzung der Transformation Beispiel für Translation:
Merkmalskodierung
Globale Kodierung lokaler SIFT-Merkmale – Integrieren der lokalen Merkmale (SIFT-Schlüsselpunktdeskriptoren) eines Bildes in einen globalen Vektor, um das gesamte Bild darzustellen
Beliebteste Methode: Bag-of-Words (BoW) – Die variable Anzahl lokaler Bildmerkmale wird in ein festdimensionales Histogramm kodiert, um jedes Bild darzustellen
- Bag-of-Words (BoW) – Schritt 1 – Erstellen des Vokabulars aus der Menge lokaler Deskriptoren (SIFT-Schlüsselpunktdeskriptoren), die aus den Trainingsdaten extrahiert wurden – Dieses Vokabular repräsentiert die Kategorien lokaler Deskripto