المُولِّد
توليد نص باستخدام المحفز المدخل ونموذج اللغة الكبير المحدد.
نظرة عامة
تنفذ هذه العملية روبوت دردشة يتيح للمستخدمين رفع صورة وطرح أسئلة حول محتواها. باستخدام مزيج من تقنيات التعرف الضوئي على الحروف (OCR) والتعرف البصري، يقوم روبوت الدردشة بتحليل الصورة وتقديم إجابات دقيقة وذات سياق مناسب. هذه الأتمتة ذات قيمة عالية لتوسيع نطاق المهام التي يحتاج فيها المستخدمون إلى استخراج المعلومات من الصور أو التفاعل مع البيانات المرئية بطريقة حوارية.
التدفق خطوة بخطوة
بدء الدردشة
- عند فتح جلسة الدردشة، تقوم العملية بإرسال رسالة ترحيبية باستخدام عنصر الرسائل.
- تُعرِّف الرسالة المستخدمين بإمكانيات روبوت الدردشة، وتوضح لهم إمكانية رفع الصور وطرح الأسئلة حول محتواها.
معالجة مدخلات المستخدم
- يمكن للمستخدمين التفاعل مع روبوت الدردشة من خلال:
- كتابة سؤال حول صورة.
- رفع ملف صورة.
- يلتقط عنصر إدخال الدردشة كلاً من السؤال (رسالة نصية) والصورة المرفوعة (إدخال ملف).
- يمكن للمستخدمين التفاعل مع روبوت الدردشة من خلال:
معالجة الصورة والسؤال
- يستقبل عنصر المولد:
- الصورة المرفوعة (لأغراض OCR/التعرف البصري).
- سؤال المستخدم (كسياق لنموذج اللغة الكبير).
- يقوم المولد بتحليل الصورة، واستخلاص المعلومات (مثل النص عبر OCR أو الخصائص البصرية)، وصياغة إجابة مناسبة للسؤال.
- يستقبل عنصر المولد:
تسليم الرد
- يتم توجيه الإجابة التي يولدها النموذج إلى عنصر مخرجات الدردشة، الذي يعرض الرد للمستخدم في واجهة الدردشة.
- إذا تم رفع صورة، يمكن أيضاً عرضها في الدردشة كمرجع.
هيكل العملية
إليك هيكل مبسط للعملية:
| الخطوة | نوع العقدة | الوظيفة |
|---|---|---|
| فتح الدردشة | ChatOpenedTrigger | يرسل رسالة الترحيب |
| عرض رسالة الترحيب | MessageWidget | يعرض التعريف والتعليمات |
| عرض الرسالة للمستخدم | ChatOutput | يقدم رسالة الترحيب في الدردشة |
| إدخال المستخدم للسؤال / رفع صورة | ChatInput | يجمع نص المستخدم وملف الصورة |
| معالجة الصورة والسؤال | Generator | ينفذ OCR/التعرف البصري ويجيب عن السؤال |
| عرض الإجابة المولدة (والصورة) | ChatOutput | يعرض الإجابة (وربما الصورة) للمستخدم |
الفوائد وحالات الاستخدام
- الأتمتة وقابلية التوسع: تؤتمت هذه العملية استخراج المعلومات من الصور، مما يتيح تقديم إجابات سريعة ومتسقة على الأسئلة البصرية دون تدخل بشري.
- تعدد الاستخدامات: مفيدة للدعم الفني، والأدوات التعليمية، وتحليل المستندات، وأي سيناريو يحتاج فيه المستخدمون للاستفسار أو فهم الصور.
- تجربة مستخدم محسنة: توفر واجهة حوارية، مما يجعل استخدام أدوات تحليل الصور المعقدة سهلاً وبديهياً.
- تكامل سلس: يتيح التصميم القائم على العقد التوسعة المستقبلية أو دمج نماذج تعرف أكثر تقدماً.
أمثلة على حالات الاستخدام
- رقمنة المستندات: يرفع المستخدمون صوراً لمستندات ويطلبون تلخيصات أو تفاصيل محددة.
- دعم المنتجات: يرسل العملاء صور المنتجات ويستفسرون عن المواصفات أو المشاكل.
- الأدوات التعليمية: يرفع الطلاب مخططات أو رسوم بيانية ويطرحون أسئلة تفسيرية.
بأتمتة الإجابة عن الأسئلة البصرية من خلال هذه العملية، يمكن للمؤسسات إتاحة أدوات تحليل الصور القوية لقاعدة واسعة من المستخدمين، تقليل الجهد اليدوي، وتقديم ردود أسرع وأذكى على نطاق واسع.
