تجزئة الكائنات الفردية

تتضمن تجزئة الكائنات الفردية اكتشاف وتحديد كل كائن مميز يظهر في الصورة. بخلاف اكتشاف الكائنات التقليدي الذي يوفر مربعات احتواء حول الكائنات، فإن تجزئة الكائنات الفردية تذهب إلى خطوة أبعد من خلال تحديد الموقع الدقيق لكل كائن بصورة بكسلية، مما ينتج عنه فهم أكثر دقة وتفصيلاً لمحتوى الصورة.

تعد تجزئة الكائنات الفردية ضرورية في الحالات التي يكون من المهم فيها ليس فقط اكتشاف الكائنات، بل أيضاً التمييز بين عدة أفراد من نفس الفئة وفهم أشكالهم ومواقعهم الدقيقة داخل الصورة.

فهم تجزئة الكائنات الفردية

لفهم تجزئة الكائنات الفردية بشكل كامل، من المفيد مقارنتها مع أنواع أخرى من مهام تقسيم الصور: التجزئة الدلالية والتجزئة البانورامية.

الفرق بين تجزئة الكائنات الفردية والتجزئة الدلالية

تشمل التجزئة الدلالية تصنيف كل بكسل في الصورة وفقاً لمجموعة من الفئات أو التصنيفات المحددة مسبقاً. جميع البكسلات التي تنتمي إلى فئة معينة (مثل “سيارة”، “شخص”، “شجرة”) تُصنف وفقاً لذلك دون تمييز بين الكائنات المنفصلة من نفس الفئة.

أما تجزئة الكائنات الفردية فتصنّف كل بكسل وتفرق أيضاً بين الكائنات المنفصلة من نفس الفئة. إذا كان هناك عدة سيارات في الصورة، ستحدد تجزئة الكائنات الفردية كل سيارة بشكل منفصل وتمنح معرفات فريدة لكل واحدة. هذا أمر بالغ الأهمية في التطبيقات التي تتطلب التعرف على الكائنات الفردية وتتبعها.

الفرق بين تجزئة الكائنات الفردية والتجزئة البانورامية

تجمع التجزئة البانورامية بين أهداف التجزئة الدلالية وتجزئة الكائنات الفردية. فهي تقدم فهماً كاملاً للمشهد من خلال تعيين تسمية دلالية ومعرف كائن لكل بكسل في الصورة. تتعامل مع فئات “الكائنات” (الأشياء القابلة للعد مثل الأشخاص والسيارات) وفئات “الأشياء” (المناطق غير الواضحة مثل السماء أو الطريق أو العشب). تركز تجزئة الكائنات الفردية بشكل أساسي على “الكائنات”، حيث تكتشف وتجزئ كل كائن فردي.

كيف تعمل تجزئة الكائنات الفردية؟

عادةً ما تستخدم خوارزميات تجزئة الكائنات الفردية تقنيات التعلم العميق، وخصوصاً الشبكات العصبية الالتفافية (CNNs)، لتحليل الصور وتوليد أقنعة تجزئة لكل كائن فردي.

المكونات الأساسية لنماذج تجزئة الكائنات الفردية

1. استخلاص الميزات (المشفر): الخطوة الأولى هي استخلاص الميزات. تقوم شبكة مشفرة، غالباً شبكة CNN، بمعالجة الصورة المدخلة لاستخلاص ميزات تمثل المحتوى البصري.
2. اقتراح المناطق: يقترح النموذج مناطق في الصورة يُحتمل أن تحتوي على كائنات، وغالباً باستخدام شبكات اقتراح المناطق (RPNs).
3. التصنيف وتحديد الموقع: لكل منطقة مقترحة، يصنف النموذج الكائن (مثل “سيارة”، “شخص”) ويحدد مربع الاحتواء بدقة.
4. تنبؤ القناع (رأس التجزئة): تولد الخطوة النهائية قناع تجزئة لكل كائن فردي—وهو تمثيل بكسلي يوضح البكسلات التابعة للكائن.

نماذج تجزئة الكائنات الفردية الشائعة

Mask R-CNN

يعد Mask R-CNN من أكثر البنى المستخدمة لتجزئة الكائنات الفردية. فهو يضيف فرعاً لتنبؤ أقنعة التجزئة على كل منطقة اهتمام (RoI) بشكل متوازٍ مع فرع التصنيف وتحديد الموقع في نموذج Faster R-CNN.

كيف يعمل Mask R-CNN:

• استخلاص الميزات: تمرر صورة الإدخال عبر شبكة CNN أساسية (مثل ResNet) لتوليد خريطة الميزات.
• شبكة اقتراح المناطق (RPN): تُستخدم خريطة الميزات لتوليد مناطق مقترحة قد تحتوي على كائنات.
• محاذاة مناطق الاهتمام (RoI Align): تستخرج المناطق من خريطة الميزات باستخدام RoI Align للحفاظ على المحاذاة المكانية.
• رؤوس التنبؤ:
  • رأس التصنيف وتحديد الموقع: لكل RoI، يتنبأ النموذج بفئة الكائن ويضبط إحداثيات مربع الاحتواء.
  • رأس القناع: شبكة التفاف تتنبأ بقناع ثنائي لكل RoI، يوضح البكسلات الدقيقة التابعة للكائن.

نماذج أخرى

• YOLACT: نموذج تجزئة كائنات فردية يعمل في الزمن الحقيقي، يجمع بين سرعة الاكتشاف أحادي الطلقة وتجزئة الكائنات الفردية.
• SOLO & SOLOv2: نماذج التفافية بالكامل تقسم الكائنات من خلال تعيين فئات الكائنات لكل بكسل دون الحاجة لمقترحات الكائنات.
• BlendMask: يجمع بين الأساليب من الأعلى للأسفل والأسفل للأعلى، ويمزج بين الميزات الخشنة والدقيقة للحصول على أقنعة عالية الجودة.

تطبيقات تجزئة الكائنات الفردية

توفر تجزئة الكائنات الفردية إمكانيات اكتشاف وتجزئة تفصيلية للكائنات لمهام معقدة في العديد من الصناعات.

التصوير الطبي

• التطبيق: التحليل الآلي للصور الطبية (MRI، الأشعة المقطعية، علم الأمراض النسيجي).
• حالة الاستخدام: اكتشاف وتحديد الخلايا أو الأورام أو التركيبات التشريحية الفردية. على سبيل المثال، تجزئة الأنوية في صور علم الأمراض لاكتشاف السرطان.
• مثال: تجزئة الأورام في صور الرنين المغناطيسي يساعد أطباء الأشعة على تقييم النموذج للتخطيط العلاجي.

القيادة الذاتية

• التطبيق: أنظمة الإحساس في السيارات الذاتية القيادة.
• حالة الاستخدام: تمكّن المركبات الذاتية القيادة من اكتشاف وفصل الكائنات مثل السيارات والمشاة وراكبي الدراجات ولافتات الطرق.
• مثال: يسمح للسيارة الذاتية القيادة بتمييز عدة مشاة يمشون بالقرب من بعضهم البعض وتوقع حركاتهم.

الروبوتات

• التطبيق: مناولة وتفاعل الكائنات في الأنظمة الروبوتية.
• حالة الاستخدام: تتعرف الروبوتات على الكائنات الفردية وتتفاعل معها في بيئات مزدحمة (مثل التقاط وفرز العناصر في المخازن).
• مثال: يستخدم ذراع روبوتي تجزئة الكائنات الفردية لالتقاط مكونات محددة من كومة مختلطة.

صور الأقمار الصناعية والجوية

• التطبيق: تحليل صور الأقمار الصناعية/الدرون للمراقبة البيئية، والتخطيط الحضري، والزراعة.
• حالة الاستخدام: تجزئة المباني والمركبات والمحاصيل أو الأشجار لإدارة الموارد والاستجابة للكوارث.
• مثال: عد الأشجار في بستان لتقييم صحتها وتحسين الحصاد.

مراقبة الجودة في التصنيع

• التطبيق: الفحص الآلي واكتشاف العيوب في التصنيع.
• حالة الاستخدام: تحديد وعزل المنتجات أو المكونات لاكتشاف العيوب وضمان مراقبة الجودة.
• مثال: اكتشاف وتجزئة الرقائق الإلكترونية لتحديد عيوب التصنيع.

الواقع المعزز (AR)

• التطبيق: التعرف على الكائنات والتفاعل معها في تطبيقات الواقع المعزز.
• حالة الاستخدام: التعرف على الكائنات وتجزئتها لكي تتفاعل العناصر الافتراضية مع الكائنات الواقعية.
• مثال: تجزئة الأثاث في غرفة ليتمكن المستخدم من تصور ملاءمة الأثاث الجديد والتفاعل معه في الواقع المعزز.

تحليل الفيديو والمراقبة

• التطبيق: تتبع الحركة وتحليل السلوك في أنظمة الأمان.
• حالة الاستخدام: تتبع الكائنات الفردية في الفيديوهات بمرور الوقت لتحليل أنماط الحركة والكشف عن الأنشطة.
• مثال: تتبع حركة العملاء في المتاجر لتحسين ترتيب المساحات ومنع الفقد.

أمثلة وحالات استخدام

التصوير الطبي: عد وتحليل الخلايا

• العملية:
  • تُرسل صور المجهر إلى نموذج تجزئة الكائنات الفردية.
  • يحدد النموذج كل خلية، حتى لو كانت متداخلة أو غير منتظمة الشكل.
  • تُعد الخلايا المجزأة وتُحلل من حيث الحجم والشكل.
• الفوائد:
  • زيادة الدقة والكفاءة.
  • تمكين الدراسات واسعة النطاق.
  • توفير بيانات كمية للبحث أو التشخيص.

القيادة الذاتية: اكتشاف المشاة

• العملية:
  • تلتقط الكاميرات المثبتة صوراً في الزمن الحقيقي.
  • تحدد نماذج تجزئة الكائنات الفردية كل مشاة وتجزئهم.
  • يتوقع النظام الحركة ويعدل سلوك المركبة.
• الفوائد:
  • تعزيز السلامة والملاحة.
  • تحسين الامتثال للمعايير الأمنية.

الروبوتات: فرز الكائنات في المخازن

• العملية:
  • تلتقط الكاميرات صور العناصر على سير ناقل.
  • تحدد نماذج تجزئة الكائنات الفردية العناصر وتجزئها حتى لو كانت متداخلة.
  • تستخدم الروبوتات البيانات لالتقاط وفرز العناصر.
• الفوائد:
  • زيادة كفاءة وسرعة الفرز.
  • تقليل التلف أو سوء المعالجة.
  • التعامل مع تشكيلة المنتجات المعقدة.

صور الأقمار الصناعية: مراقبة التطور العمراني

• العملية:
  • تُحلل صور الأقمار الصناعية لتجزئة المباني.
  • تُتبع التغيرات من خلال مقارنة النتائج في فترات مختلفة.
• الفوائد:
  • بيانات تفصيلية عن النمو العمراني.
  • المساعدة في التخطيط وتوزيع الموارد.
  • تقييم الأثر البيئي.

كيف ترتبط تجزئة الكائنات الفردية بأتمتة الذكاء الاصطناعي والدردشة الآلية

رغم أن تجزئة الكائنات الفردية مهمة في رؤية الحاسوب، إلا أنها تلعب دوراً كبيراً في أتمتة الذكاء الاصطناعي من خلال توفير فهم بصري مفصل يمكّن الأنظمة المؤتمتة من التفاعل بذكاء مع العالم المادي.

التكامل مع أتمتة الذكاء الاصطناعي

• أتمتة الروبوتات:
  • تستخدم الروبوتات تجزئة الكائنات الفردية لفهم البيئات وأداء المهام بشكل ذاتي.
  • مثال: تستخدم الطائرات بدون طيار التجزئة للملاحة وتجنب العقبات.
• أتمتة التصنيع:
  • يستخدم الفحص الآلي التجزئة لاكتشاف العيوب وضمان الجودة.

تعزيز قدرات الذكاء الاصطناعي في الدردشة الآلية والمساعدين الافتراضيين

رغم أن الدردشة الآلية تعتمد أساساً على النص، فإن دمج تجزئة الكائنات الفردية يوسع قدراتها من خلال الواجهات البصرية.

• الدردشة الآلية المرئية: تفسر الدردشة الآلية الصور التي يرسلها المستخدم وتوفر معلومات تفصيلية عن الكائنات باستخدام تجزئة الكائنات الفردية.
• دعم العملاء: يمكن للمستخدمين إرسال صور المنتجات التي بها مشاكل؛ تحدد الدردشة الآلية مناطق المشكلة وتقدم المساعدة.
• أدوات الوصول: لمستخدمي ضعاف البصر، يمكن أن تصف أنظمة الذكاء الاصطناعي المشاهد بشكل تفصيلي عبر تحديد كل كائن من خلال التجزئة.

التطورات ومستقبل تجزئة الكائنات الفردية

تشهد تجزئة الكائنات الفردية تطوراً سريعاً بفضل التقدم في التعلم العميق وتقنيات الحوسبة.

تجزئة الكائنات الفردية في الزمن الحقيقي

• التقنيات: تحسين بنية الشبكات لتقليل الحمل الحوسبي، وكواشف الطلقة الواحدة لسرعة الاستدلال.
• التحديات: موازنة السرعة والدقة، وإدارة موارد الأجهزة الطرفية.

الجمع مع أنماط بيانات أخرى

• البيانات متعددة الأنماط: دمج التجزئة مع الليدار أو الرادار أو التصوير الحراري لرؤية أكثر قوة.
  • مثال: دمج صور الكاميرا والليدار في المركبات الذاتية القيادة.

التعلم شبه الموجه وغير الموجه

• الأساليب: يستخدم التعلم شبه الموجه بعض البيانات الموسومة وكثيراً من البيانات غير الموسومة؛ يكتشف التعلم غير الموجه الأنماط دون تسميات.
• الفوائد: تقليل تكاليف التوسيم، وجعل التقنية أسهل في المجالات المتخصصة.

الحوسبة الطرفية والنشر

• التطبيقات: تنفيذ التجزئة محلياً على أجهزة إنترنت الأشياء والأجهزة القابلة للارتداء للخصوصية والكفاءة.
• الاعتبارات: تحسين النماذج لاستهلاك طاقة منخفض وقدرات حسابية محدودة.

تعزز تجزئة الكائنات الفردية قدرة أنظمة الذكاء الاصطناعي على التفاعل مع العالم، مما يقود التقدم في مجالات مثل التصوير الطبي والمركبات الذاتية القيادة والروبوتات. ومع تطور التقنية، ستصبح تجزئة الكائنات الفردية أكثر مركزية في حلول الذكاء الاصطناعي.

أبحاث حول تجزئة الكائنات الفردية

تعد تجزئة الكائنات الفردية مهمة أساسية في رؤية الحاسوب تشمل اكتشاف وتصنيف وتجزئة كل كائن فردي داخل الصورة. فهي تجمع بين اكتشاف الكائنات والتجزئة الدلالية لتوفير رؤى تفصيلية. من المساهمات البحثية المهمة:

1. تعلم التجزئة البانورامية من حدود الكائنات الفردية
   قدم هذا البحث شبكة عصبية التفافية بالكامل تتعلم تجزئة الكائنات الفردية من خلال التجزئة الدلالية وحدود الكائنات (حدود الأشياء). تؤدي حدود الكائنات الفردية والتجزئة الدلالية إلى تجزئة ذات وعي بالحدود. ثم ينتج عن وضع العلامات على المكونات المتصلة تجزئة الكائنات الفردية. تم التقييم على مجموعة بيانات CityScapes مع دراسات متعددة.

   

2. تجميع تجزئة الكائنات الفردية والدلالية من أجل التجزئة البانورامية
   يصف هذا البحث حلاً لمهمة تجزئة البانوراما في COCO 2019 من خلال إجراء التجزئة الفردية والدلالية بشكل منفصل ثم دمجهما. تم تحسين الأداء باستخدام نماذج Mask R-CNN المتخصصة لموازنة البيانات، ونموذج HTC لأفضل تجزئة فردية. عززت استراتيجيات التجميع النتائج، وحققت درجة PQ بلغت 47.1 على بيانات اختبار COCO البانورامية.
   اقرأ المزيد

3. Insight Any Instance: تجزئة كائنات فردية قابلة للتحفيز لصور الاستشعار عن بعد
   يتناول هذا البحث التحديات في تجزئة الكائنات الفردية في الاستشعار عن بعد (عدم التوازن بين المقدمة والخلفية، الكائنات الصغيرة) من خلال اقتراح نموذج تحفيز جديد. تساعد وحدات التحفيز المحلية والعالمية على نمذجة السياق، مما يجعل النماذج أكثر قابلية للتحفيز ويحسن أداء التجزئة.
   اقرأ المزيد