Caractéristiques d'image
- Les caractéristiques d'image sont essentiellement des vecteurs qui constituent une représentation compacte des images •
- Elles représentent des informations importantes présentes dans une image •
- Exemples intuitifs de caractéristiques d'image :
- Taches (blobs) –
- Contours –
- Coins –
- Crêtes –
- Cercles –
- Ellipses –
- Lignes –
- Etc…
Nous devons représenter les images sous forme de vecteurs de caractéristiques pour un traitement ultérieur plus efficace et robuste
Voici des exemples de traitements ultérieurs : –
- Détection d'objets –
- Segmentation d'image –
- Classification d'image –
- Recherche d'images basée sur le contenu –
- Recouvrement/assemblage d'images (stitching) –
- Suivi d'objets
Propriétés des caractéristiques
- Pourquoi ne pas simplement utiliser directement les valeurs des pixels ? –
- Les valeurs des pixels changent avec l'intensité lumineuse, la couleur et la direction – Elles changent également avec l'orientation de la caméra – Et elles sont hautement redondantes • Répétabilité (robustesse) – Doivent pouvoir être détectées aux mêmes emplacements dans différentes images malgré les variations d'éclairage et de point de vue • Saillance (descriptivité) – Des points saillants similaires dans différentes images doivent présenter des caractéristiques similaires • Compacité (efficacité) – Moins de caractéristiques – Caractéristiques plus petites
Prétraitement d'image
Représentation des caractéristiques
Reconnaissance de formes
Post-traitement
Types de caractéristiques
- Caractéristiques de couleur –
- Histogramme de couleurs –
- Moments de couleur •
- Caractéristiques de texture –
- Caractéristiques de texture de Haralick –
- Motifs binaires locaux (LBP) – Transformée de caractéristiques visuelles invariante à l'échelle (SIFT) –
- Encodage des caractéristiques de texture •
- Caractéristiques de forme –
- Caractéristiques de forme de base –
- Contexte de forme (Shape context) –
- Histogramme de gradients orientés (HOG)
Caractéristiques de couleur
La couleur est la caractéristique la plus simple à calculer, et elle est invariante au changement d'échelle, à la translation et à la rotation de l'image • Exemple : recherche d'images basée sur la couleur
Histogramme de couleurs
Représente la distribution globale des couleurs des pixels dans une image – Étape 1 : Construire un histogramme pour chaque canal de couleur (R, V, B) – Étape 2 : Concaténer les histogrammes (vecteurs) de tous les canaux pour former le vecteur de caractéristiques final
Moments de couleur
Exemple d'application
Caractéristiques de texture
- La texture est une caractéristique discriminante puissante pour identifier des motifs visuels ayant des propriétés d'homogénéité qui ne peuvent pas résulter de la seule présence d'une couleur ou d'une intensité unique •
- Exemple : classification de texture
Caractéristiques de Haralick
- Les caractéristiques de Haralick fournissent un ensemble de descripteurs statistiques des motifs de l'image afin de capturer la relation spatiale entre pixels voisins, c'est-à-dire les textures –
- Étape 1 : Construire la matrice de cooccurrence de niveaux de gris (GLCM) –
- Étape 2 : Calculer les descripteurs de caractéristiques de Haralick à partir de la GLCM
- Étape 1 : Construire les GLCM –
- Étant donné une distance d à un angle d'orientation θ – Calculer le nombre (ou la probabilité) de cooccurrences de passage d'un niveau de gris l 1 à un autre niveau de gris l 2 avec un espacement d'échantillonnage d le long de l'axe formant un angle θ avec l'axe x et noter cela p(d, θ)(l 1, l 2) – Construire la matrice P(d, θ) avec les éléments (l 1, l 2) étant p(d, θ)(l 1, l 2) – Si le nombre de niveaux de gris distincts dans l'image quantifiée est L, alors la matrice de cooccurrence P sera de taille L×L
Pour des raisons d'efficacité de calcul, le nombre de niveaux de gris (L) peut être réduit par discrétisation (similaire au binning d'histogramme), par ex. L = 256/n, où n est un facteur constant. – Différentes matrices de cooccurrence peuvent être construites en utilisant diverses combinaisons de distance (d) et de directions angulaires (θ). – À elles seules, ces matrices de cooccurrence ne fournissent aucune mesure de texture facilement utilisable comme descripteur de texture. – Les informations contenues dans les matrices de cooccurrence doivent être extraites sous la forme d'un ensemble de valeurs de caractéristiques => descripteurs de Haralick.
Exemple d'application
Transformée de caractéristiques invariante à l'échelle (SIFT)
- La caractéristique SIFT décrit les caractéristiques de texture dans une région localisée autour d'un point clé
- Le descripteur SIFT est invariant au changement d'échelle uniforme, à l'orientation, et partiellement invariant aux distorsions affines et aux variations d'éclairage
- Détection d'extrema dans l'espace d'échelle : Trouver les maxima/minima dans les images DoG (différence de gaussiennes) à travers les échelles
- Localisation des points clés : Rejet des points clés à faible contraste, élimination des réponses de contour
- Attribution de l'orientation : Obtenir l'invariance par rotation
- Descripteur de points clés : Calculer les histogrammes d'orientation des gradients
Détection des extrema SIFT
Détecter les maxima et minima dans l'espace d'échelle de l'image
Localisation des points clés SIFT
- Améliorer et réduire l'ensemble des points clés trouvés
- Utiliser un ajustement quadratique 3D dans l'espace d'échelle pour obtenir des optima sous-pixeliques –
- Rejeter les points à faible contraste et les points de contour à l'aide de l'analyse hessienne
- Estimer l'orientation du point clé à l'aide des vecteurs de gradient locaux – Créer un histogramme d'orientation des vecteurs de gradient locaux – Trouver l'orientation dominante à partir du pic principal de l'histogramme – Créer un point clé supplémentaire pour le deuxième pic le plus élevé s'il dépasse 80 %
Attribution de l'orientation SIFT
- Estimer l'orientation du point clé à l'aide des vecteurs de gradient locaux
- Créer un histogramme d'orientation des vecteurs de gradient locaux
- Trouver l'orientation dominante à partir du pic principal de l'histogramme
- Créer un point clé supplémentaire pour le deuxième pic le plus élevé s'il dépasse 80 %
Descripteur de points clés SIFT
- Grille 4 x 4 d'histogrammes de gradient pondérés par la magnitude
- 8 intervalles (bins) dans l'histogramme d'orientation du gradient
- Total grille 8 x 4 x 4 = 128 dimensions
- Grille 4 x 4 d'histogrammes de gradient pondérés par la magnitude
Mise en correspondance des descripteurs
Assemblage d'images – Trouver les points clés SIFT et les correspondances de caractéristiques
Ajustement et alignement
Étant donné des points appariés A et B, estimer la transformation Exemple pour la translation :
Encodage des caractéristiques
Encodage global des caractéristiques SIFT locales – Intégrer les caractéristiques locales (descripteurs de points clés SIFT) d'une image dans un vecteur global pour représenter l'image entière
Méthode la plus populaire : Sac de mots visuels (Bag-of-Words, BoW) – Le nombre variable de caractéristiques d'image locales est encodé dans un histogramme de dimension fixe pour représenter chaque image
- Sac de mots visuels (BoW) – étape 1 – Créer le vocabulaire à partir de l'ensemble des descripteurs locaux (descripteurs de points clés SIFT) extraits des données d'entraînement – Ce vocabulaire représente les catégories de descripteurs locaux