كيف تغير الملصقات النصية سلوك نماذج اللغة الكبيرة: بحث يكشف تأثيرًا جذريًا

في عالم الذكاء الاصطناعي سريع التطور، أصبحت نماذج اللغة الكبيرة (LLMs) جزءًا لا يتجزأ من تطبيقاتنا اليومية، بدءًا من مساعدي الدردشة وصولًا إلى أدوات إنشاء المحتوى. تعتمد هذه النماذج بشكل كبير على السياق الذي يتم تزويدها به لتقديم استجابات دقيقة ومفيدة. لكن ما قد لا يدركه الكثيرون هو أن مجرد طريقة تقديم هذا السياق، وتحديدًا الملصقات النصية المحيطة به، يمكن أن يكون لها تأثير الملصقات على نماذج اللغة وتحويل جذري في سلوك النموذج وقبوله للمعلومات. هذا ما كشفه بحث حديث، يسلط الضوء على أن الملصقات البسيطة مثل “مرجع:” أو “مثال:” يمكن أن تغير بشكل كبير مدى اعتماد النموذج على المعلومات المقدمة.

تُظهر النتائج الصادمة أن معدل تبني المعلومات المضللة يمكن أن يتغير بنسبة تتراوح بين 56 إلى 84 نقطة مئوية، اعتمادًا على الملصق المستخدم. هذا الاكتشاف لا يمثل مجرد تفصيل تقني، بل يثير تساؤلات جوهرية حول كيفية تصميم أنظمة الذكاء الاصطناعي المعززة بالسياق (Context-augmented AI systems)، وكيفية تقييمها، ومدى موثوقية استجاباتها في التطبيقات الحساسة. إن فهم هذه الديناميكية الجديدة يصبح حجر الزاوية للمطورين والباحثين على حد سواء، لضمان أن نماذجهم تستوعب السياق بالطريقة المقصودة، ولا تقع فريسة لتحيزات غير مرغوبة ناتجة عن تصميم بسيط في الواجهة.

اقرأ أيضا: الذكاء الاصطناعي العلمي: تحديات محاذاة نماذج الرؤية مع فهم الفيزياء

اقرأ أيضا: تحسين نماذج اللغة البصرية الطبية: تشخيص عدم التوازن بالذكاء الاصطناعي

اقرأ أيضا: تركيبات شابلي الجديدة: ثورة في تفسير تنبؤات الذكاء الاصطناعي متعددة الفئات

ما الجديد في هذا البحث؟

يكشف البحث عن ظاهرة محورية: ليست جودة المحتوى السياقي هي الوحيدة التي تهم، بل طريقة تغليف هذا المحتوى. تُستخدم الملصقات النصية (Discourse-role labels) مثل Reference: (مرجع:), Evidence: (دليل:), Instruction: (تعليمات:), Note: (ملاحظة:), أو Example: (مثال:) بشكل شائع في أنظمة نماذج اللغة المعززة بالسياق (مثل RAG) لترتيب المعلومات. لكن حتى الآن، كان تأثير هذه الملصقات على سلوك النموذج غير مستكشف بالقدر الكافي. ولفهم خلفية مرتبطة مباشرة بهذا الخبر حول أنظمة الذكاء الاصطناعي المعززة بالسياق، يمكن الرجوع إلى ما هو التوليد المعزز بالاسترجاع (RAG)؟.

لتقييم هذا التأثير، استخدم الباحثون اختبارًا مزدوج المحتوى على أكثر من 500 عنصر من مجموعة بيانات MMLU-Pro، وهي معيار شائع لتقييم فهم اللغة. في كل اختبار، تم تزويد النموذج بنفس التأكيد المضلل الذي يحمل إجابة خاطئة، ولكن تحت ملصقات مختلفة. تم قياس مدى تبني النموذج لهذه المعلومة الخاطئة (Misleading Adoption Rate) من خلال رصد ما إذا كان النموذج ينتج الخيار الخاطئ المحقون.

كانت النتائج مذهلة: عبر مجموعة متنوعة من النماذج الرائدة مثل GPT-5.5، وDeepSeek V4 Pro، وLlama-3-8B-Instruct، وQwen2.5-7B-Instruct، تحول معدل تبني المعلومات المضللة بنسبة تتراوح بين 56 إلى 84 نقطة مئوية. الملصقات التي توحي بالربط أو المصدرية، مثل Instruction: (تعليمات:) و Reference: (مرجع:)، أنتجت معدلات تبني عالية للمعلومات المضللة، مما يعني أن النماذج كانت أكثر عرضة لقبولها. في المقابل، قلل ملصق Example: (مثال:) من معدل تبني المعلومات المضللة بشكل ثابت، مما يشير إلى أن النموذج يتعامل معها بحذر أكبر. لمزيد من المعلومات حول معيار MMLU-Pro المستخدم في هذا البحث لتقييم قدرات نماذج اللغة، يمكن زيارة MMLU: قياس فهم اللغة متعدد المهام على نطاق واسع.

هذه النتائج، المدعومة باختبارات مزدوجة، وفترات bootstrap، وعمليات إزالة التعليمات النهائية، ومسبارات احتمالية السجل للخطوة النهائية في Qwen، تؤكد وجود تفضيل للمرشحين مشروط بالملصق. كما أظهرت اختبارات الحدود أن هذا التأثير يضعف أو يستمر في سياقات معينة: فمهام الحساب تقلل من التبني، والسياق الخارجي ذو الشكل المقطعي يحافظ على فجوات أصغر بين الملصقات، وتقييم الإجابات القصيرة يستبعد مجرد نسخ حرف الخيار، وتعارضات الملصقات المتداخلة تشير إلى أن التأطير التوضيحي يمكن أن يحدد نطاق التبني. أكدت مراجعة يدوية لـ 200 حالة أن التناقضات في الإجابات القصيرة مستقرة تحت التقييم المتحفظ.

الخلفية التقنية للمشكلة

لفهم أهمية هذا البحث، يجب أن نستوعب كيفية عمل أنظمة نماذج اللغة المعززة بالسياق. تعاني نماذج اللغة الكبيرة بطبيعتها من مشكلة “الهلوسة” (hallucination)، حيث قد تولد معلومات غير صحيحة أو غير موجودة. للتغلب على ذلك، ظهرت تقنيات مثل التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation – RAG)، حيث يتم استرجاع معلومات ذات صلة من قاعدة بيانات خارجية أو مستندات محددة وتزويدها للنموذج كسياق إضافي قبل توليد الإجابة. هذا السياق يساعد النموذج على ترسيخ إجابته على حقائق موثوقة. ولتعميق فهمك لكيفية صياغة الأوامر والتأثير على سلوك نماذج اللغة، يمكنك استكشاف دليل هندسة الأوامر من OpenAI.

في هذه الأنظمة، غالبًا ما يتم “تغليف” المحتوى المسترجع بملصقات أو بادئات (wrappers) لتعريفه. على سبيل المثال، قد يتم تقديم مستند مرجعي بالشكل التالي: Reference: [نص المستند هنا]. أو قد يتم تقديم مثال على كيفية الإجابة: Example: [مثال للإجابة]. هذه الملصقات هي جزء من هندسة الأوامر (Prompt Engineering)، وهي فن وعلم صياغة الأوامر (prompts) التي توجه النموذج لإنتاج الاستجابة المطلوبة.

حتى الآن، كان الافتراض السائد هو أن هذه الملصقات تساعد النموذج فقط على فهم نوع المحتوى المقدم. لكن هذا البحث يكشف أنها تفعل أكثر من ذلك بكثير؛ إنها تؤثر على مدى ثقة النموذج في هذا المحتوى. فملصق مثل Instruction: (تعليمات:) قد يجعل النموذج يتعامل مع النص التالي كأمر يجب اتباعه بدقة، بينما ملصق Example: (مثال:) قد يجعله يتعامل معه كمجرد توضيح يمكن التعلم منه، وليس بالضرورة اتباعه حرفيًا.

لماذا يهم هذا البحث؟

تكمن أهمية هذا الاكتشاف في عدة جوانب حيوية:

• لمطوري الذكاء الاصطناعي ومهندسي الأوامر:

  يجب على المطورين ومهندسي الأوامر إعادة التفكير في كيفية هيكلة أوامرهم. لم يعد يكفي مجرد توفير السياق، بل يجب أن يكون اختيار الملصق دقيقًا ومقصودًا. إذا كان الهدف هو أن يتبع النموذج التعليمات بدقة، فيجب استخدام ملصق يوحي بالسلطة مثل Instruction:. أما إذا كان السياق توضيحيًا أو لتقديم أمثلة قد تحتوي على أخطاء مقصودة لتعليم النموذج، فإن Example: هو الخيار الأنسب لتقليل التبني الأعمى للمعلومات. هذا يعني أن تصميم الأوامر أصبح أكثر تعقيدًا ويتطلب فهمًا أعمق لسلوك النموذج.

• لباحثي الذكاء الاصطناعي ومقيمي النماذج:

  يضع هذا البحث علامة استفهام كبيرة على المنهجيات الحالية لتقييم نماذج اللغة. إذا كانت الملصقات يمكن أن تغير نتائج التقييم بنسبة تصل إلى 84%، فهذا يعني أن معايير التقييم الحالية التي لا تتحكم في هذه الملصقات قد تكون مضللة. يجب على مصممي معايير الأداء (benchmarks)، خاصة تلك التي تقيس استخدام السياق والاعتماد على RAG، الإبلاغ عن الملصقات المستخدمة والتحكم فيها لضمان نتائج قابلة للمقارنة وموثوقة. هذا يمكن أن يؤدي إلى إعادة تقييم لنتائج سابقة وتصميم جديد لاختبارات الأداء.

• للشركات التي تبني تطبيقات الذكاء الاصطناعي:

  بالنسبة للشركات التي تعتمد على نماذج اللغة في تطبيقاتها، مثل المساعدين الافتراضيين، أو أنظمة خدمة العملاء، أو أدوات التحليل القانوني، فإن هذا البحث يحمل تحذيرًا هامًا. قد يؤدي استخدام ملصقات خاطئة إلى جعل النموذج أكثر عرضة لقبول معلومات غير دقيقة أو حتى ضارة، مما يؤثر على جودة الخدمة وسمعة الشركة. يجب مراجعة كيفية تقديم السياق في هذه التطبيقات لضمان أن النماذج تتفاعل مع المعلومات بطريقة مسؤولة وموثوقة.

تأثيره على السوق والمستخدمين

يمتد تأثير هذا البحث ليشمل جوانب أوسع من مجرد الجوانب التقنية. على مستوى السوق، قد نشهد ظهور أدوات ومنهجيات جديدة لهندسة الأوامر تركز بشكل خاص على اختيار الملصقات النصية وتحسينها. قد تتضمن أطر عمل RAG المستقبلية ميزات لضبط الملصقات ديناميكيًا بناءً على نوع المحتوى المسترجع أو درجة الثقة فيه. هذا يمكن أن يؤدي إلى تطوير حلول أكثر دقة ومرونة في التعامل مع السياق.

بالنسبة للمستخدمين النهائيين، فإن هذا البحث يعد بمستقبل من تطبيقات الذكاء الاصطناعي الأكثر موثوقية. تخيل مساعدًا افتراضيًا لا يتبع تعليمات خاطئة عن غير قصد لأنها قدمت تحت ملصق “تعليمات:”، بل يتعامل معها بحذر أكبر إذا تم تقديمها كـ”مثال:”. هذا يعني تقليل الأخطاء المحتملة، وزيادة الثقة في مخرجات الذكاء الاصطناعي، وتجربة مستخدم أكثر أمانًا وفعالية. على سبيل المثال، في تطبيقات البحث، إذا تم تقديم جزء من نص كـ”اقتراح:” بدلاً من “حقيقة:”، فقد يمنح النموذج المستخدم خيارات متعددة بدلاً من إجابة قاطعة واحدة، مما يعكس فهمًا أعمق لطبيعة المعلومة.

يمكن مقارنة هذا التأثير بكيفية استجابة البشر للمعلومات بناءً على مصدرها أو نبرة تقديمها. فالمعلومة المقدمة كـ”نصيحة من خبير” يتم التعامل معها بشكل مختلف عن “فكرة عابرة”، حتى لو كان المحتوى متطابقًا. نماذج اللغة، على ما يبدو، تظهر سلوكيات مشابهة، مما يؤكد أنها ليست مجرد آلات لمعالجة النصوص، بل أنظمة معقدة تتأثر بالتفاصيل الدقيقة في طريقة التقديم.

قراءة تحليلية معمقة

تشير النتائج إلى أن نماذج اللغة لا تعالج النص ككتلة واحدة، بل تقوم بتفسير دلالي للملصقات المحيطة به. يمكننا تقسيم الملصقات إلى فئتين رئيسيتين: تلك التي توحي بـ”الربط” أو “السلطة”، وتلك التي توحي بـ”التوضيح” أو “المثال”.

• الملصقات الرابطة/السلطوية (Binding/Authoritative Labels):

  عندما يرى النموذج ملصقات مثل Instruction: (تعليمات:) أو Reference: (مرجع:)، فإنه يفسر المحتوى التالي على أنه توجيه مباشر أو مصدر موثوق يجب الالتزام به. هذا يرفع من “معدل تبني المعلومات”، حتى لو كانت المعلومات مضللة. يمكن تفسير ذلك بأن النموذج تم تدريبه على أن هذه الملصقات تشير إلى معلومات ذات أولوية عالية أو أوامر يجب تنفيذها.

• الملصقات التوضيحية/المثالية (Illustrative/Example Labels):

  في المقابل، عندما يرى النموذج ملصق Example: (مثال:)، فإنه يتعامل مع المحتوى بشكل مختلف. قد يفسره على أنه مجرد توضيح لمفهوم، أو مثال على كيفية القيام بشيء ما، وليس بالضرورة حقيقة مطلقة أو أمرًا يجب اتباعه بشكل أعمى. هذا يقلل من “معدل تبني المعلومات المضللة”، حيث يحتفظ النموذج بقدر أكبر من الشك النقدي أو يعتمد على معرفته الداخلية بشكل أكبر.

تكشف “مسبارات الحدود” (Boundary probes) عن تفاصيل مثيرة للاهتمام حول هذا السلوك. على سبيل المثال، في المهام الحسابية، يقل تأثير الملصقات. هذا يشير إلى أن النماذج قد تعتمد أكثر على قدراتها الاستدلالية الداخلية للمهام المنطقية والرياضية، مما يقلل من تأثير السياق الخارجي وتغليفه. كما أن السياق الخارجي الذي يأتي على شكل فقرات طويلة يحافظ على فجوات أصغر بين تأثير الملصقات، مما يعني أن طبيعة المحتوى نفسه يمكن أن تعدل من تأثير الملصق.

تضيف فكرة “تعارضات الملصقات المتداخلة” بُعدًا آخر للتحليل. إذا تم تضمين ملصق Example: داخل سياق أكبر يحمل ملصق Instruction:، فإن هذا التداخل يشير إلى أن التأطير التوضيحي يمكن أن يحدد نطاق تبني المعلومات. بعبارة أخرى، يمكن للملصق الداخلي أن يلغي أو يعدل من تأثير الملصق الخارجي، مما يسمح بتحكم أدق في كيفية معالجة النموذج لأجزاء مختلفة من السياق.

هذه الظاهرة تفتح الباب أمام فهم أعمق لـ”الاستدلال السياقي” (Contextual Inference) في نماذج اللغة. لم يعد الأمر يتعلق فقط بمعالجة الكلمات، بل بمعالجة الدلالات الخفية التي تنقلها طريقة تقديم المعلومات. هذا يدفعنا إلى التفكير في أن النماذج قد تكون قادرة على “فهم” نية المقدمة (discourse intent) الكامنة وراء الملصقات، وبالتالي تعديل سلوكها وفقًا لذلك.

خلاصة عملية وتوصيات

الخلاصة العملية لهذا البحث واضحة ومباشرة: خيارات التقديم يمكن أن تغير الاعتماد المقاس على السياق المقدم. هذا يعني أن كل من يعمل مع نماذج اللغة الكبيرة يجب أن ينتبه لهذه التفاصيل الدقيقة.

• لمصممي أنظمة RAG وهندسة الأوامر:

  يجب أن يكون اختيار الملصقات النصية جزءًا أساسيًا من استراتيجية تصميم الأوامر. استخدم Instruction: أو Reference: عندما تريد أن يتبع النموذج المعلومة بدقة ويثق بها تمامًا. استخدم Example: عندما تقدم محتوى توضيحيًا أو تريد أن يأخذ النموذج المعلومة بعين الاعتبار دون الالتزام بها حرفيًا، خاصة إذا كانت قد تحتوي على أخطاء مقصودة أو أمثلة تعليمية. يمكن استكشاف استخدام ملصقات مخصصة تعكس درجة الثقة في المحتوى المسترجع.

• لمطوري معايير التقييم:

  يجب على مصممي معايير تقييم نماذج اللغة الإبلاغ بوضوح عن الملصقات النصية المستخدمة في سياق الاختبارات والتحكم فيها. هذا يضمن أن نتائج التقييم تعكس الأداء الحقيقي للنموذج ولا تتأثر بالتحيزات الناتجة عن طريقة تغليف السياق. قد يتطلب الأمر توحيد استخدام الملصقات عبر المعايير المختلفة لضمان قابلية المقارنة.

• للباحثين:

  يدعو هذا البحث إلى مزيد من الاستكشاف لكيفية تفاعل النماذج مع أنواع مختلفة من الملصقات، وتأثيرها على مهام محددة، وكيف يمكن تدريب النماذج لتكون أكثر مرونة في تفسيرها. فهم الآليات الكامنة وراء هذا السلوك يمكن أن يؤدي إلى تطوير نماذج أكثر ذكاءً وقدرة على التكيف.

في الختام، يُظهر هذا البحث أن التفاصيل الدقيقة في تصميم واجهات التفاعل مع نماذج الذكاء الاصطناعي يمكن أن يكون لها تأثيرات عميقة وغير متوقعة على سلوكها. إن فهم هذه الفروق الدقيقة والتحكم فيها ليس رفاهية، بل ضرورة لضمان موثوقية وسلامة أنظمة الذكاء الاصطناعي في عالمنا المتزايد الاعتماد عليها.