Representación de características

Características de imagen

• Las características de imagen son esencialmente vectores que constituyen una representación compacta de imágenes •
• Representan información importante mostrada en una imagen •
• Ejemplos intuitivos de características de imagen:
  • Blobs (regiones) –
  • Bordes –
  • Esquinas –
  • Crestas –
  • Círculos –
  • Elipses –
  • Líneas –
  • Etc.…

Necesitamos representar las imágenes como vectores de características para un procesamiento posterior de manera más eficiente y robusta

Los ejemplos de procesamiento posterior incluyen: –

• Detección de objetos –
• Segmentación de imágenes –
• Clasificación de imágenes –
• Recuperación de imágenes basada en contenido –
• Unión de imágenes –
• Seguimiento de objetos

Propiedades de las características

• ¿Por qué no utilizar directamente los valores de los píxeles? –
  • Los valores de los píxeles cambian con la intensidad de la luz, el color y la dirección – También cambian con la orientación de la cámara – Y son altamente redundantes • Repetibilidad (robustez) – Deben poder detectarse en las mismas ubicaciones en diferentes imágenes a pesar de los cambios de iluminación y punto de vista • Salicidad (carácter descriptivo) – Los puntos salientes similares en diferentes imágenes deben tener características similares • Compacidad (eficiencia) – Menos características – Características más pequeñas

Preprocesamiento de imágenes

Representación de características

Reconocimiento de patrones

Posprocesamiento

Tipos de características

• Características de color –
  • Histograma de color –
  • Momentos de color •
• Características de textura –
  • Características de textura de Haralick –
  • Patrones binarios locales (LBP) – Transformada de características invariante a la escala (SIFT) –
  • Codificación de características de textura •
• Características de forma –
  • Características básicas de forma –
  • Contexto de forma –
  • Histograma de gradientes orientados (HOG)

Características de color

El color es la característica más sencilla de calcular y es invariante al escalado, traslación y rotación de la imagen • Ejemplo: recuperación de imágenes basada en color

Histograma de color

Representa la distribución global de los colores de los píxeles en una imagen – Paso 1: Construir un histograma para cada canal de color (R, G, B) – Paso 2: Concatenar los histogramas (vectores) de todos los canales como el vector de características final

Momentos de color

Ejemplo de aplicación

Características de textura

• La textura es una potente característica discriminatoria para identificar patrones visuales con propiedades de homogeneidad que no pueden derivarse únicamente de la presencia de un solo color o intensidad •
• Ejemplo: clasificación de texturas

Características de Haralick

• Las características de Haralick proporcionan un conjunto de descriptores estadísticos de patrones de imagen para capturar la relación espacial entre píxeles vecinos, es decir, texturas –
  • Paso 1: Construir la matriz de coocurrencia de niveles de gris (GLCM) –
  • Paso 2: Calcular los descriptores de características de Haralick a partir de la GLCM

• Paso 1: Construir las GLCM –
  • Dada una distancia d en un ángulo de orientación θ – Calcular el recuento de coocurrencias (o probabilidad) de pasar de un nivel de gris l 1 a otro nivel de gris l 2 con una separación entre muestras de d a lo largo del eje que forma un ángulo θ con el eje x y denotar esto como p(d, θ)(l 1, l 2) – Construir la matriz P(d, θ) siendo los elementos (l 1, l 2) p(d, θ)(l 1, l 2) – Si el número de niveles de gris distintos en la imagen cuantizada es L, entonces la matriz de coocurrencia P será de tamaño L×L

Para mayor eficiencia computacional, el número de niveles de gris (L) se puede reducir mediante agrupamiento en contenedores (similar al binning de histogramas), p. ej., L = 256/n, siendo n un factor constante. – Se pueden construir diferentes matrices de coocurrencia utilizando diversas combinaciones de distancia (d) y direcciones angulares (θ). – Por sí solas, estas matrices de coocurrencia no proporcionan ninguna medida de textura que pueda utilizarse fácilmente como descriptores de textura. – La información de las matrices de coocurrencia debe extraerse adicionalmente como un conjunto de valores de características => descriptores de Haralick.

Ejemplo de aplicación

Transformada de características invariante a la escala

• La característica SIFT describe las características de textura en una región localizada alrededor de un punto clave
• El descriptor SIFT es invariante a la escala uniforme, la orientación y parcialmente invariante a la distorsión afín y a los cambios de iluminación
  • Detección de extremos en el espacio de escala： Encontrar máximos/mínimos en imágenes DoG（Diferencia de Gaussianas） a través de las escalas
  • Localización de puntos clave： Descarte de puntos clave de bajo contraste y eliminación de respuestas de borde
  • Asignación de orientación： Lograr invariancia a la rotación
  • Descriptor de puntos clave： Calcular histogramas de orientación del gradiente

Detección de extremos SIFT

Detectar máximos y mínimos en el espacio de escala de la imagen

Localización de puntos clave SIFT

• Mejorar y reducir el conjunto de puntos clave encontrados
  • Utilizar ajuste cuadrático 3D en el espacio de escala para obtener óptimos subpíxel –
  • Rechazar puntos de bajo contraste y de borde mediante análisis hessiano
• Estimar la orientación del punto clave utilizando vectores de gradiente locales – Crear un histograma de orientación de vectores de gradiente locales – Encontrar la orientación dominante a partir del pico principal del histograma – Crear un punto clave adicional para el segundo pico más alto si es >80%

Asignación de orientación SIFT

• Estimar la orientación del punto clave utilizando vectores de gradiente locales
  • Crear un histograma de orientación de vectores de gradiente locales
  • Encontrar la orientación dominante a partir del pico principal del histograma
  • Crear un punto clave adicional para el segundo pico más alto si es >80%

Descriptor de puntos clave SIFT

• Matriz de 4 x 4 de histogramas de gradiente ponderados por magnitud
• 8 contenedores en el histograma de orientación del gradiente
• Matriz total de 8 x 4 x 4 = 128 dimensiones
• Matriz de 4 x 4 de histogramas de gradiente ponderados por magnitud

Emparejamiento de descriptores

Unión de imágenes – Encontrar puntos clave SIFT y correspondencias de características

Ajuste y alineación

Dados los puntos emparejados A y B, estimar la transformación Ejemplo para traslación:

Codificación de características

Codificación global de características SIFT locales – Integrar las características locales (descriptores de puntos clave SIFT) de una imagen en un vector global para representar toda la imagen

Método más popular: bolsa de palabras (BoW) – El número variable de características locales de la imagen se codifica en un histograma de dimensión fija para representar cada imagen

• Bolsa de palabras (BoW) – paso 1 – Crear el vocabulario a partir del conjunto de descriptores locales (descriptores de puntos clave SIFT) extraídos de los datos de entrenamiento – Este vocabulario representa las categorías de descriptores locales