Características de Imagem
- As características de imagem são essencialmente vetores que constituem uma representação compacta de imagens •
- Elas representam informações importantes mostradas em uma imagem •
- Exemplos intuitivos de características de imagem:
- Blobs –
- Bordas –
- Cantos –
- Cristas –
- Círculos –
- Elipses –
- Linhas –
- Etc…
Precisamos representar imagens como vetores de características para processamento posterior de forma mais eficiente e robusta
Exemplos de processamento posterior incluem: –
- Detecção de objetos –
- Segmentação de imagem –
- Classificação de imagem –
- Recuperação de imagem baseada em conteúdo –
- Costura de imagens –
- Rastreamento de objetos
Propriedades das Características
- Por que não usar apenas os valores dos pixels diretamente? –
- Os valores dos pixels mudam com a intensidade da luz, cor e direção – Eles também mudam com a orientação da câmera – E são altamente redundantes • Repetibilidade (robustez) – Devem ser detectáveis nas mesmas localizações em imagens diferentes, apesar de variações de iluminação e ponto de vista • Saliência (descritividade) – Pontos salientes semelhantes em imagens diferentes devem ter características semelhantes • Compacidade (eficiência) – Menos características – Características menores
Pré-processamento de Imagem
Representação de Características
Reconhecimento de Padrões
Pós-processamento
Tipos de Características
- Características de cor –
- Histograma de cor –
- Momentos de cor •
- Características de textura –
- Características de textura de Haralick –
- Padrões binários locais (LBP) – Transformada de características invariante à escala (SIFT) –
- Codificação de características de textura •
- Características de forma –
- Características básicas de forma –
- Contexto de forma –
- Histograma de gradientes orientados (HOG)
Características de Cor
A cor é a característica mais simples de computar e é invariante ao escalonamento, translação e rotação da imagem • Exemplo: recuperação de imagem baseada em cor
Histograma de Cor
Representa a distribuição global de cores dos pixels em uma imagem – Passo 1: Construir um histograma para cada canal de cor (R, G, B) – Passo 2: Concatenar os histogramas (vetores) de todos os canais como o vetor de características final
Momentos de Cor
Exemplo de Aplicação
Características de Textura
- A textura é uma característica discriminativa poderosa para identificar padrões visuais com propriedades de homogeneidade que não podem resultar da presença de apenas uma única cor ou intensidade •
- Exemplo: classificação de textura
Características de Haralick
- As características de Haralick fornecem um conjunto de descritores estatísticos de padrões de imagem para capturar a relação espacial entre pixels vizinhos, isto é, texturas –
- Passo 1: Construir a matriz de coocorrência de níveis de cinza (GLCM) –
- Passo 2: Calcular os descritores de características de Haralick a partir da GLCM
- Passo 1: Construir as GLCMs –
- Dada uma distância d em um ângulo de orientação θ – Calcule a contagem de coocorrência (ou probabilidade) de passar de um nível de cinza l 1 para outro nível de cinza l 2 com um espaçamento entre amostras de d ao longo do eixo que forma um ângulo θ com o eixo x e denote isso como p(d, θ)(l 1, l 2) – Construa a matriz P(d, θ) com os elementos (l 1, l 2) sendo p(d, θ)(l 1, l 2) – Se o número de níveis de cinza distintos na imagem quantizada for L, então a matriz de coocorrência P terá tamanho L×L
Para eficiência computacional, o número de níveis de cinza (L) pode ser reduzido por agrupamento em intervalos (similar ao binning de histograma), por exemplo, L = 256/n, com n sendo um fator constante. – Diferentes matrizes de coocorrência podem ser construídas usando várias combinações de distância (d) e direções angulares (θ). – Por si só, essas matrizes de coocorrência não fornecem nenhuma medida de textura que possa ser facilmente usada como descritores de textura. – As informações nas matrizes de coocorrência precisam ser adicionalmente extraídas como um conjunto de valores de características => descritores de Haralick.
Exemplo de Aplicação
Transformada de Características Invariante à Escala
- A característica SIFT descreve as características de textura em uma região localizada ao redor de um ponto-chave
- O descritor SIFT é invariante ao escalonamento uniforme, à orientação e parcialmente invariante a distorções afins e variações de iluminação
- Detecção de Extremos no Espaço de Escala: Encontrar máximos/mínimos em imagens DoG (Diferença de Gaussianas) através das escalas
- Localização de Pontos-Chave: Descartar pontos-chave de baixo contraste Eliminar respostas de borda
- Atribuição de Orientação: Obter invariância à rotação
- Descritor de Pontos-Chave: Calcular histogramas de orientação de gradiente
Detecção de Extremos SIFT
Detectar máximos e mínimos no espaço de escala da imagem
Localização de Pontos-Chave SIFT
- Melhorar e reduzir o conjunto de pontos-chave encontrados
- Usar ajuste quadrático 3D no espaço de escala para obter ótimos subpixel –
- Rejeitar pontos de baixo contraste e de borda usando análise Hessiana
- Estimar a orientação do ponto-chave usando vetores de gradiente locais – Criar um histograma de orientação de vetores de gradiente locais – Encontrar a orientação dominante a partir do pico principal do histograma – Criar ponto-chave adicional para o segundo pico mais alto se >80%
Atribuição de Orientação SIFT
- Estimar a orientação do ponto-chave usando vetores de gradiente locais
- Criar um histograma de orientação de vetores de gradiente locais
- Encontrar a orientação dominante a partir do pico principal do histograma
- Criar ponto-chave adicional para o segundo pico mais alto se >80%
Descritor de Pontos-Chave SIFT
- Matriz 4 x 4 de histogramas de gradiente ponderados pela magnitude
- 8 compartimentos no histograma de orientação de gradiente
- Matriz total de 8 x 4 x 4 = 128 dimensões
- Matriz 4 x 4 de histogramas de gradiente ponderados pela magnitude
Correspondência de Descritores
Costura de imagens – Encontrar pontos-chave SIFT e correspondências de características
Ajuste e Alinhamento
Dados os pontos correspondentes A e B, estimar a transformação Exemplo para translação:
Codificação de Características
Codificação global de características locais SIFT – Integrar as características locais (descritores de pontos-chave SIFT) de uma imagem em um vetor global para representar a imagem inteira
Método mais popular: Bag-of-Words (BoW) – O número variável de características locais da imagem é codificado em um histograma de dimensão fixa para representar cada imagem
- Bag-of-Words (BoW) – passo 1 – Criar o vocabulário a partir do conjunto de descritores locais (descritores de pontos-chave SIFT) extraídos dos dados de treinamento – Este vocabulário representa as categorias de descritores locais