تمثيل السمات

سمات الصورة

• سمات الصورة هي في الأساس متجهات تمثل تمثيلاً مدمجاً للصور •
• إنها تمثل معلومات مهمة معروضة في الصورة •
• أمثلة بديهية على سمات الصورة:
  • البقع –
  • الحواف –
  • الأركان –
  • الحواف البارزة (Ridges) –
  • الدوائر –
  • القطوع الناقصة –
  • الخطوط –
  • إلخ…

نحتاج إلى تمثيل الصور كمتجهات سمات لمعالجتها بشكل أكبر بطريقة أكثر كفاءة وقوة

تشمل أمثلة المعالجة الإضافية ما يلي: –

• كشف الكائنات –
• تجزئة الصور –
• تصنيف الصور –
• استرجاع الصور القائم على المحتوى –
• ربط الصور (Stitching) –
• تتبع الكائنات

خصائص السمات

• لماذا لا نستخدم قيم البكسل مباشرة؟ –
  • تتغير قيم البكسل مع شدة الضوء ولونه واتجاهه – كما تتغير مع اتجاه الكاميرا – وهي زائدة عن الحاجة للغاية • قابلية التكرار (المتانة) – يجب أن تكون قابلة للاكتشاف في نفس المواقع في صور مختلفة على الرغم من التغيرات في الإضاءة وزاوية الرؤية • البروز (الوصفية) – يجب أن تمتلك النقاط البارزة المتشابهة في صور مختلفة سمات متشابهة • الإيجاز (الكفاءة) – سمات أقل – سمات أصغر

المعالجة المسبقة للصور

تمثيل السمات

التعرف على الأنماط

المعالجة اللاحقة

أنواع السمات

• سمات اللون –
  • المدرج التكراري للون –
  • عزوم اللون •
• سمات النسيج –
  • سمات هاراليك للنسيج –
  • الأنماط الثنائية المحلية (LBP) – تحويل السمات الثابتة بالنسبة لتغير المقياس (SIFT) –
  • ترميز سمات النسيج •
• سمات الشكل –
  • سمات الشكل الأساسية –
  • سياق الشكل –
  • مدرج التدرجات الموجهة (HOG)

سمات اللون

اللون هو أبسط سمة يمكن حسابها، وهو ثابت بالنسبة لتحجيم الصورة وإزاحتها وتدويرها • مثال: استرجاع الصور القائم على اللون

المدرج التكراري للون

يمثل التوزيع العام لألوان البكسل في الصورة – الخطوة 1: إنشاء مدرج تكراري لكل قناة لونية (R, G, B) – الخطوة 2: ربط المدرجات التكرارية (المتجهات) لجميع القنوات معاً كمتجه سمات نهائي

عزوم اللون

مثال تطبيقي

سمات النسيج

• النسيج هو سمة تمييزية قوية للتعرف على الأنماط البصرية ذات خصائص التجانس التي لا يمكن أن تنتج عن وجود لون واحد أو شدة إضاءة واحدة فقط •
• مثال: تصنيف النسيج

سمات هاراليك

• توفر سمات هاراليك مصفوفة من الواصفات الإحصائية لأنماط الصورة لالتقاط العلاقة المكانية بين البكسلات المجاورة، أي الأنسجة –
  • الخطوة 1: بناء مصفوفة التواجد المشترك للتدرج الرمادي (GLCM) –
  • الخطوة 2: حساب واصفات سمات هاراليك من مصفوفة GLCM

• الخطوة 1: بناء مصفوفات GLCM –
  • بمعلومية مسافة d عند زاوية اتجاه θ – احسب عدد مرات التواجد المشترك (أو الاحتمال) للانتقال من مستوى رمادي l 1 إلى مستوى رمادي آخر l 2 بمسافة فاصلة قدرها d على طول المحور الذي يصنع زاوية θ مع المحور x ونشير إليها بالرمز p(d, θ)(l 1, l 2) – قم ببناء المصفوفة P(d, θ) بحيث تكون عناصرها (l 1, l 2) هي p(d, θ)(l 1, l 2) – إذا كان عدد المستويات الرمادية المميزة في الصورة المكممة هو L، فإن مصفوفة التواجد المشترك P ستكون بحجم L×L

لتحقيق الكفاءة الحسابية، يمكن تقليل عدد المستويات الرمادية (L) عن طريق التجميع في فئات (بشكل مشابه لتجميع المدرج التكراري)، على سبيل المثال L = 256/n، حيث n عامل ثابت. – يمكن بناء مصفوفات تواجد مشترك مختلفة باستخدام توليفات متنوعة من المسافة (d) والاتجاهات الزاوية (θ). – بمفردها، لا توفر مصفوفات التواجد المشترك هذه أي مقياس للنسيج يمكن استخدامه بسهولة كواصفات نسيج. – تحتاج المعلومات الموجودة في مصفوفات التواجد المشترك إلى مزيد من الاستخراج كمجموعة من قيم السمات => واصفات هاراليك.

مثال تطبيقي

تحويل السمات الثابتة بالنسبة لتغير المقياس (SIFT)

• تصف سمة SIFT سمات النسيج في منطقة موضعية حول نقطة رئيسية
• يتميز واصف SIFT بأنه ثابت بالنسبة للتكبير والتصغير الموحد والاتجاه، وثابت جزئياً بالنسبة للتشوه التآلفي وتغيرات الإضاءة
  • اكتشاف القيم القصوى في فضاء المقياس: العثور على القيم القصوى/الدنيا في صور فرق دوال غاوس (DoG) عبر المقاييس
  • تحديد موضع النقاط الرئيسية: تجاهل النقاط الرئيسية ذات التباين المنخفض واستبعاد استجابات الحواف
  • تعيين الاتجاه: تحقيق الثبات بالنسبة للدوران
  • واصف النقاط الرئيسية: حساب المدرجات التكرارية لاتجاه التدرج

اكتشاف القيم القصوى في SIFT

اكتشاف القيم القصوى والدنيا في فضاء المقياس للصورة

تحديد موضع النقاط الرئيسية في SIFT

• تحسين وتقليص مجموعة النقاط الرئيسية التي تم العثور عليها
  • استخدام المطابقة التربيعية ثلاثية الأبعاد في فضاء المقياس للحصول على القيم المثلى دون مستوى البكسل –
  • رفض النقاط ذات التباين المنخفض ونقاط الحواف باستخدام تحليل مصفوفة هيسيان
• تقدير اتجاه النقطة الرئيسية باستخدام متجهات التدرج المحلية – إنشاء مدرج تكراري لاتجاه متجهات التدرج المحلية – العثور على الاتجاه السائد من القمة الرئيسية للمدرج التكراري – إنشاء نقطة رئيسية إضافية للقمة الثانية الأعلى إذا كانت >80%

تعيين الاتجاه في SIFT

• تقدير اتجاه النقطة الرئيسية باستخدام متجهات التدرج المحلية
  • إنشاء مدرج تكراري لاتجاه متجهات التدرج المحلية
  • العثور على الاتجاه السائد من القمة الرئيسية للمدرج التكراري
  • إنشاء نقطة رئيسية إضافية لـ ثاني أعلى قمة إذا كانت >80%

واصف النقاط الرئيسية في SIFT

• مصفوفة 4 × 4 من مدرج التدرج التكراري الموزون بالمقدار
• 8 فئات في المدرج التكراري لاتجاه التدرج
• مصفوفة إجمالية 8 × 4 × 4 = 128 بعداً
• مصفوفة 4 × 4 من مدرج التدرج التكراري الموزون بالمقدار

مطابقة الواصفات

ربط الصور (Stitching) – العثور على نقاط SIFT الرئيسية وتطابق السمات

المطابقة والمحاذاة

بمعلومية النقاط المتطابقة A و B، يتم تقدير التحويل مثال للإزاحة:

ترميز السمات

الترميز العام لسمات SIFT المحلية – دمج السمات المحلية (واصفات نقاط SIFT الرئيسية) للصورة في متجه عام لتمثيل الصورة بأكملها

الطريقة الأكثر شيوعاً: كيس الكلمات (Bag-of-Words - BoW) – يتم ترميز العدد المتغير لسمات الصورة المحلية في مدرج تكراري ثابت الأبعاد لتمثيل كل صورة

• كيس الكلمات (BoW) – الخطوة 1 – إنشاء المفردات من مجموعة الواصفات المحلية (واصفات نقاط SIFT الرئيسية) المستخرجة من بيانات التدريب – تمثل هذه المفردات فئات الواصفات المحلية