画像特徴
- 画像特徴は基本的に、画像をコンパクトに表現したベクトルです •
- 画像に示される重要な情報を表します •
- 画像特徴の直感的な例：
- ブロブ –
- エッジ –
- コーナー –
- リッジ –
- 円 –
- 楕円 –
- 線 –
- など…
より効率的かつ堅牢にさらなる処理を行うために、画像を特徴ベクトルとして表現する必要があります
さらなる処理の例： –
- 物体検出 –
- 画像セグメンテーション –
- 画像分類 –
- コンテンツベースの画像検索 –
- 画像スティッチング –
- 物体追跡
特徴の特性
- なぜ画素値を直接使用しないのか？ –
- 画素値は光の強度、色、方向によって変化します – また、カメラの向きによっても変化します – そして高度に冗長です • 再現性（ロバスト性） – 照明や視点の変化があっても、異なる画像の同じ位置で検出可能であるべきです • 顕著性（記述性） – 異なる画像内の類似した顕著な点は、類似した特徴を持つべきです • コンパクト性（効率性） – 特徴数が少ないこと – 特徴サイズが小さいこと
画像の前処理
特徴表現
パターン認識
後処理
特徴の種類
- 色特徴 –
- カラーヒストグラム –
- カラーモーメント •
- テクスチャ特徴 –
- ハラリック（Haralick）テクスチャ特徴 –
- 局所バイナリパターン（LBP） – スケール不変特徴変換（SIFT） –
- テクスチャ特徴量の符号化 •
- 形状特徴 –
- 基本形状特徴 –
- シェイプコンテキスト –
- 輝度勾配ヒストグラム（HOG）
色特徴
色は計算が最も簡単な特徴であり、画像の拡大縮小、平行移動、回転に対して不変です • 例：色に基づく画像検索
カラーヒストグラム
画像内の画素色の全体的な分布を表します – ステップ1：各色チャンネル（R、G、B）のヒストグラムを作成する – ステップ2：すべてのチャンネルのヒストグラム（ベクトル）を結合して最終的な特徴ベクトルとする
カラーモーメント
応用例
テクスチャ特徴
- テクスチャは、単一の色や輝度の存在だけからは生じない均質性の特性を持つ視覚パターンを識別するための強力な識別特徴です •
- 例：テクスチャ分類
ハラリック特徴量
- ハラリック特徴量は、隣接する画素間の空間的関係、すなわちテクスチャを捉えるための一連の画像パターンの統計的記述子を提供します –
- ステップ1：濃度共起行列（GLCM）を作成する –
- ステップ2：GLCMからハラリック特徴記述子を計算する
- ステップ1：GLCMの作成 –
- 方位角θにおける距離dが与えられたとき – x軸となす角θの軸に沿ってサンプル間隔dだけ離れたグレーレベルl 1から別のグレーレベルl 2への遷移の共起回数（または確率）を計算し、これをp(d, θ)(l 1, l 2)と表します – 成分(l 1, l 2)がp(d, θ)(l 1, l 2)である行列P(d, θ)を構築します – 量子化画像内の個別のグレーレベルの数がLの場合、共起行列PのサイズはL×Lになります
計算効率を高めるために、ビニング（ヒストグラムのビニングと同様）によってグレーレベルの数（L）を削減できます（例：L = 256/n、nは定数係数）。 – 距離（d）と角度方向（θ）の様々な組み合わせを使用して、異なる共起行列を構築できます。 – これらの共起行列単体では、テクスチャ記述子として容易に使用できるテクスチャの測定値は得られません。 – 共起行列内の情報は、一連の特徴値（=> ハラリック記述子）としてさらに抽出される必要があります。
応用例
スケール不変特徴変換（SIFT）
- SIFT特徴は、キーポイント周辺の局所領域におけるテクスチャ特徴を記述します
- SIFT記述子は、均一なスケーリング、向きに対して不変であり、アフィン歪みや照明の変化に対して部分的に不変です
- スケール空間の極値検出：スケール全体でDoG（Difference of Gaussian）画像内の極大値/極小値を検出します
- キーポイントの局所化：低コントラストのキーポイントの破棄 エッジ応答の除去
- オリエンテーションの割り当て：回転不変性を達成します
- キーポイント記述子：勾配方向ヒストグラムを計算します
SIFT極値検出
画像のスケール空間における極大値および極小値を検出します
SIFTキーポイントの局所化
- 検出されたキーポイントの集合を改善および絞り込みます
- スケール空間で3次元2次フィッティングを使用してサブピクセル単位の最適値を取得します –
- ヘッセ行列の解析を使用して、低コントラストの点やエッジ上の点を除去します
- 局所勾配ベクトルを使用してキーポイントの向きを推定します – 局所勾配ベクトルの方向ヒストグラムを作成します – ヒストグラムのメインピークから主方向を見つけます – 2番目に高いピークが80%を超える場合は追加のキーポイントを作成します
SIFTオリエンテーションの割り当て
- 局所勾配ベクトルを使用してキーポイントの向きを推定します
- 局所勾配ベクトルの方向ヒストグラムを作成します
- ヒストグラムのメインピークから主方向を見つけます
- 2番目に高いピークが80%を超える場合は、追加のキーポイントを作成します
SIFTキーポイント記述子
- 勾配強度によって重み付けされた勾配ヒストグラムの4×4配列
- 勾配方向ヒストグラムにおける8つのビン
- 合計8×4×4配列 = 128次元
- 勾配強度によって重み付けされた勾配ヒストグラムの4×4配列
記述子のマッチング
画像スティッチング – SIFTキーポイントと特徴量の対応関係を検出します
フィッティングとアライメント
対応する点Aと点Bが与えられたとき、変換を推定します 平行移動の例：
特徴符号化
局所SIFT特徴量のグローバル符号化 – 画像の局所特徴量（SIFTキーポイント記述子）を統合して、画像全体を表すグローバルベクトルを生成します
最も一般的な手法：Bag-of-Words（BoW） – 変動する数の局所画像特徴量を固定次元のヒストグラムに符号化して各画像を表現します
- Bag-of-Words（BoW） – ステップ1 – 訓練データから抽出された局所記述子（SIFTキーポイント記述子）のセットからボキャブラリを作成します – このボキャブラリは局所記述子のカテゴリを表します