이미지 특징
- 이미지 특징은 본질적으로 이미지를 압축하여 표현한 벡터입니다 •
- 이들은 이미지에 나타난 중요한 정보를 표현합니다 •
- 이미지 특징의 직관적인 예시:
- 블롭(Blob) –
- 에지(Edge) –
- 코너(Corner) –
- 리지(Ridge) –
- 원(Circle) –
- 타원(Ellipse) –
- 선(Line) –
- 기타 등등…
더 효율적이고 견고한 방식으로 추가 처리를 수행하기 위해 이미지를 특징 벡터로 표현해야 합니다
추가 처리의 예는 다음과 같습니다: –
- 객체 검출 –
- 이미지 분할 –
- 이미지 분류 –
- 내용 기반 이미지 검색 –
- 이미지 스티칭 –
- 객체 추적
특징의 특성
- 단순히 픽셀 값을 직접 사용하지 않는 이유는 무엇일까요? –
- 픽셀 값은 빛의 세기, 색상, 방향에 따라 변합니다 – 또한 카메라 방향에 따라서도 변합니다 – 그리고 매우 중복적입니다 • 반복성(견고성) – 조명 및 시점의 변화에도 불구하고 서로 다른 이미지의 동일한 위치에서 검출될 수 있어야 함 • 현저성(기술성) – 서로 다른 이미지의 유사한 현저한 지점은 유사한 특징을 가져야 함 • 간결성(효율성) – 더 적은 수의 특징 – 더 작은 크기의 특징
이미지 전처리
특징 표현
패턴 인식
후처리
특징 유형
- 색상 특징 –
- 색상 히스토그램 –
- 색상 모멘트 •
- 텍스처 특징 –
- Haralick 텍스처 특징 –
- LBP(Local Binary Patterns) – SIFT(Scale-Invariant Feature Transform) –
- 텍스처 특징 인코딩 •
- 형태 특징 –
- 기본 형태 특징 –
- 형태 컨텍스트 –
- HOG(Histogram of Oriented Gradients)
색상 특징
색상은 계산하기 가장 단순한 특징이며 이미지의 크기 조정, 평행 이동 및 회전에 불변합니다 • 예시: 색상 기반 이미지 검색
색상 히스토그램
이미지 내 픽셀 색상의 전역적 분포를 표현 – 1단계: 각 색상 채널(R, G, B)에 대한 히스토그램 구성 – 2단계: 모든 채널의 히스토그램(벡터)을 연결하여 최종 특징 벡터 생성
색상 모멘트
적용 예시
텍스처 특징
- 텍스처는 단일 색상이나 밝기의 존재만으로는 나타날 수 없는 균질성 특성을 가진 시각적 패턴을 식별하기 위한 강력한 판별 특징입니다 •
- 예시: 텍스처 분류
Haralick 특징
- Haralick 특징은 이웃 픽셀 간의 공간적 관계, 즉 텍스처를 포착하기 위한 이미지 패턴의 일련의 통계적 기술자를 제공합니다 –
- 1단계: GLCM(명암도 동시발생 행렬) 구성 –
- 2단계: GLCM으로부터 Haralick 특징 기술자 계산
- 1단계: GLCM 구성 –
- 회전 각도 θ에서 거리 d가 주어졌을 때 – x축과 각도 θ를 이루는 축을 따라 샘플 간 간격 d를 두고 명암도 l 1에서 다른 명암도 l 2로 이동하는 동시발생 빈도(또는 확률)를 계산하고 이를 p(d, θ)(l 1, l 2)로 표기 – 원소 (l 1, l 2)가 p(d, θ)(l 1, l 2)인 행렬 P(d, θ)를 구성 – 양자화된 이미지의 고유한 명암도 수가 L인 경우, 동시발생 행렬 P의 크기는 L×L이 됨
계산 효율성을 위해 명암도 수(L)는 비닝(히스토그램 비닝과 유사)을 통해 줄일 수 있습니다(예: n이 상수 인자일 때 L = 256/n). – 거리(d)와 각도 방향(θ)의 다양한 조합을 사용하여 서로 다른 동시발생 행렬을 구성할 수 있습니다. – 이러한 동시발생 행렬 자체만으로는 텍스처 기술자로 쉽게 사용할 수 있는 텍스처 척도를 제공하지 않습니다. – 동시발생 행렬의 정보는 일련의 특징 값(=> Haralick 기술자)으로 추가 추출되어야 합니다.
적용 예시
스케일 불변 특징 변환(SIFT)
- SIFT 특징은 키포인트 주변의 국소 영역에서의 텍스처 특징을 기술합니다
- SIFT 기술자는 균일한 크기 조정, 방향에 불변하며 아핀 왜곡 및 조명 변화에 부분적으로 불변합니다
- 스케일 공간 극값 검출: 여러 스케일에 걸쳐 DoG(가우시안 차분) 이미지에서 극대값/극소값 찾기
- 키포인트 위치 지정: 저대비 키포인트 제거 및 에지 응답 제거
- 방향 할당: 회전 불변성 달성
- 키포인트 기술자: 그래디언트 방향 히스토그램 계산
SIFT 극값 검출
이미지의 스케일 공간에서 극대값과 극소값 검출
SIFT 키포인트 위치 지정
- 발견된 키포인트 집합 개선 및 축소
- 서브픽셀 최적점을 얻기 위해 스케일 공간에서 3D 2차 피팅 사용 –
- 헤시안 분석을 사용하여 저대비 및 에지 포인트 제거
- 지역 그래디언트 벡터를 사용하여 키포인트 방향 추정 – 지역 그래디언트 벡터의 방향 히스토그램 생성 – 히스토그램의 주요 피크에서 주 방향 찾기 – 두 번째로 높은 피크가 80%를 넘는 경우(>80%) 추가 키포인트 생성
SIFT 방향 할당
- 지역 그래디언트 벡터를 사용하여 키포인트 방향 추정
- 지역 그래디언트 벡터의 방향 히스토그램 생성
- 히스토그램의 주요 피크에서 주 방향 찾기
- 두 번째로 높은 피크가 80%를 넘는 경우(>80%) 추가 키포인트 생성
SIFT 키포인트 기술자
- 크기로 가중치가 부여된 4 x 4 그래디언트 히스토그램 배열
- 그래디언트 방향 히스토그램 내 8개 빈(bin)
- 총 8 x 4 x 4 배열 = 128차원
- 크기로 가중치가 부여된 4 x 4 그래디언트 히스토그램 배열
기술자 매칭
이미지 스티칭 – SIFT 키포인트 및 특징 대응점 찾기
피팅 및 정렬
매칭된 점 A와 B가 주어졌을 때 변환 추정 (평행 이동의 예):
특징 인코딩
지역 SIFT 특징의 전역 인코딩 – 이미지의 지역 특징(SIFT 키포인트 기술자)을 전체 이미지를 나타내는 전역 벡터로 통합
가장 대중적인 방법: BoW(Bag-of-Words) – 각 이미지를 나타내기 위해 가변적인 수의 지역 이미지 특징을 고정 차원 히스토그램으로 인코딩함
- Bag-of-Words(BoW) – 1단계 – 학습 데이터에서 추출된 지역 기술자(SIFT 키포인트 기술자) 세트로부터 어휘 사전 생성 – 이 어휘 사전은 지역 기술자의 범주를 나타냄