Caratteristiche dell'immagine
- Le caratteristiche dell'immagine sono essenzialmente vettori che costituiscono una rappresentazione compatta delle immagini •
- Rappresentano informazioni importanti mostrate in un'immagine •
- Esempi intuitivi di caratteristiche dell'immagine:
- Blob –
- Bordi –
- Angoli –
- Creste –
- Cerchi –
- Ellissi –
- Linee –
- Ecc…
Dobbiamo rappresentare le immagini come vettori di caratteristiche per un'ulteriore elaborazione in modo più efficiente e robusto
Esempi di ulteriori elaborazioni includono: –
- Rilevamento di oggetti –
- Segmentazione dell'immagine –
- Classificazione dell'immagine –
- Recupero di immagini basato sul contenuto –
- Unione di immagini (image stitching) –
- Tracciamento di oggetti
Proprietà delle caratteristiche
- Perché non utilizzare direttamente i valori dei pixel? –
- I valori dei pixel cambiano con l'intensità della luce, il colore e la direzione – Cambiano anche con l'orientamento della fotocamera – E sono altamente ridondanti • Ripetibilità (robustezza) – Dovrebbero essere rilevabili nelle stesse posizioni in immagini diverse nonostante i cambiamenti di illuminazione e punto di vista • Salienza (descrittività) – Punti salienti simili in immagini diverse dovrebbero avere caratteristiche simili • Compattezza (efficienza) – Meno caratteristiche – Caratteristiche più piccole
Pre-elaborazione dell'immagine
Rappresentazione delle caratteristiche
Riconoscimento di pattern
Post-elaborazione
Tipi di caratteristiche
- Caratteristiche del colore –
- Istogramma del colore –
- Momenti di colore •
- Caratteristiche della texture –
- Caratteristiche della texture di Haralick –
- Pattern binari locali (LBP) – Trasformata di caratteristiche invariante di scala (SIFT) –
- Codifica delle caratteristiche di texture •
- Caratteristiche di forma –
- Caratteristiche di forma di base –
- Contesto di forma (Shape context) –
- Istogramma dei gradienti orientati (HOG)
Caratteristiche del colore
Il colore è la caratteristica più semplice da calcolare ed è invariante rispetto a scala, traslazione e rotazione dell'immagine • Esempio: recupero di immagini basato sul colore
Istogramma del colore
Rappresenta la distribuzione globale dei colori dei pixel in un'immagine – Passo 1: Costruire un istogramma per ciascun canale di colore (R, G, B) – Passo 2: Concatenare gli istogrammi (vettori) di tutti i canali come vettore di caratteristiche finale
Momenti di colore
Esempio applicativo
Caratteristiche della texture
- La texture è una potente caratteristica discriminante per identificare pattern visivi con proprietà di omogeneità che non possono derivare dalla presenza di un solo colore o intensità •
- Esempio: classificazione della texture
Caratteristiche di Haralick
- Le caratteristiche di Haralick forniscono un insieme di descrittori statistici dei pattern dell'immagine per catturare la relazione spaziale tra pixel vicini, ovvero le texture –
- Passo 1: Costruire la matrice di co-occorrenza a livelli di grigio (GLCM) –
- Passo 2: Calcolare i descrittori delle caratteristiche di Haralick a partire dalla GLCM
- Passo 1: Costruire le GLCM –
- Data una distanza d a un angolo di orientamento θ – Calcolare il conteggio di co-occorrenza (o probabilità) di passare da un livello di grigio l 1 a un altro livello di grigio l 2 con una spaziatura di campionamento d lungo l'asse che forma un angolo θ con l'asse x e denotarlo come p(d, θ)(l 1, l 2) – Costruire la matrice P(d, θ) con elementi (l 1, l 2) pari a p(d, θ)(l 1, l 2) – Se il numero di livelli di grigio distinti nell'immagine quantizzata è L, la matrice di co-occorrenza P sarà di dimensione L×L
Per efficienza computazionale, il numero di livelli di grigio (L) può essere ridotto tramite binning (simile al binning degli istogrammi), ad es. L = 256/n, con n fattore costante. – È possibile costruire diverse matrici di co-occorrenza utilizzando varie combinazioni di distanza (d) e direzioni angolari (θ). – Da sole, queste matrici di co-occorrenza non forniscono alcuna misura della texture facilmente utilizzabile come descrittore di texture. – Le informazioni nelle matrici di co-occorrenza devono essere ulteriormente estratte come insieme di valori caratteristici => descrittori di Haralick.
Esempio applicativo
Trasformata di caratteristiche invariante di scala (SIFT)
- La feature SIFT descrive le caratteristiche di texture in una regione localizzata attorno a un punto chiave
- Il descrittore SIFT è invariante rispetto a scala uniforme e orientamento, e parzialmente invariante rispetto a distorsioni affini e variazioni di illuminazione
- Rilevamento degli estremi nello spazio-scala: trovare massimi/minimi nelle immagini DoG (Difference of Gaussian) a diverse scale
- Localizzazione dei punti chiave: scarto dei punti chiave a basso contrasto, eliminazione delle risposte sui bordi
- Assegnazione dell'orientamento: ottenimento dell'invarianza per rotazione
- Descrittore del punto chiave: calcolo degli istogrammi dell'orientamento dei gradienti
Rilevamento degli estremi SIFT
Rilevare massimi e minimi nello spazio-scala dell'immagine
Localizzazione dei punti chiave SIFT
- Migliorare e ridurre l'insieme dei punti chiave trovati
- Utilizzare l'adattamento quadratico 3D nello spazio-scala per ottenere ottimi a livello sub-pixel –
- Scartare i punti a basso contrasto e sui bordi mediante analisi dell'Hessiana
- Stimare l'orientamento del punto chiave utilizzando i vettori di gradiente locale – Creare un istogramma di orientamento dei vettori di gradiente locale – Trovare l'orientamento dominante dal picco principale dell'istogramma – Creare un punto chiave aggiuntivo per il secondo picco più alto se >80%
Assegnazione dell'orientamento SIFT
- Stimare l'orientamento del punto chiave utilizzando i vettori di gradiente locale
- Creare un istogramma dell'orientamento dei vettori di gradiente locale
- Trovare l'orientamento dominante dal picco principale dell'istogramma
- Creare un punto chiave aggiuntivo per il secondo picco più alto se >80%
Descrittore del punto chiave SIFT
- Matrice 4 x 4 di istogrammi di gradiente pesati per modulo
- 8 intervalli (bin) nell'istogramma dell'orientamento del gradiente
- Array totale 8 x 4 x 4 = 128 dimensioni
- Matrice 4 x 4 di istogrammi di gradiente pesati per modulo
Corrispondenza dei descrittori
Unione di immagini (image stitching) – Trovare punti chiave SIFT e corrispondenze tra caratteristiche
Adattamento e allineamento
Dati i punti corrispondenti A e B, stimare la trasformazione. Esempio per la traslazione:
Codifica delle caratteristiche
Codifica globale di caratteristiche SIFT locali – Integrare le caratteristiche locali (descrittori di punti chiave SIFT) di un'immagine in un vettore globale per rappresentare l'intera immagine
Metodo più diffuso: Bag-of-Words (BoW) – Il numero variabile di caratteristiche locali dell'immagine viene codificato in un istogramma a dimensione fissa per rappresentare ciascuna immagine
- Bag-of-Words (BoW) – passo 1 – Creare il vocabolario dall'insieme di descrittori locali (descrittori di punti chiave SIFT) estratti dai dati di addestramento – Questo vocabolario rappresenta le categorie di descrittori locali