كشف بحث جديد أجراه باحثون من Google DeepMind وكلية لندن الجامعية (University College London) عن أن النماذج اللغوية الكبيرة (LLMs) تعاني أحيانًا فقدان الثقة في إجاباتها، وقد تتخلى عن الإجابات الصحيحة في بعض الحالات.

تُعد النماذج اللغوية الكبيرة أنظمة ذكاء اصطناعي قوية قادرة على فهم اللغة البشرية وتوليدها، وتُستخدم في مجموعة واسعة من الصناعات، مثل: التمويل، والرعاية الصحية، ضمن مهام تتطلب الاستدلال واتخاذ القرارات. لذلك، فإن الدقة والموثوقية من الأمور المهمة التي ينبغي أن تتصف بها هذه النماذج؛ إذ يجب أن تكون واثقة من إجاباتها. ومع ذلك، يمكن أن تتردد أحيانًا.

ويُظهر هذا البحث، الذي نُشر على موقع arXiv للأوراق البحثية، أن هذه النماذج قد تكون مفرطة الثقة في إجاباتها الأولية، لكنها تفقد الثقة وتغيّر رأيها عند تقديم حجج مضادة.

اختبار ثقة النماذج اللغوية الكبيرة

للتحقيق في هذا التناقض، اختبر الباحثون كيف تتأثر ثقة النماذج وكيف تغير الإجابة عند تقديم نصيحة خارجية لها. أولًا، قُدمت للنموذج المجيب (answering LLM) أسئلة ذات خيارين. وبعد إجابته، تلقى نصيحة من نموذج آخر (advice LLM) مرفقة بتقييم للدقة. وقد اتفقت هذه النصيحة أحيانًا مع الإجابة الأولى، أو عارضتها، أو كانت محايدة. بعد ذلك طُلب من النموذج المجيب تقديم إجابة نهائية، مع تغيير الظروف بين إظهار إجابته الأولى أو إخفائها في أثناء اتخاذ القرار.

النتائج

أظهرت الدراسة أن النماذج اللغوية الكبيرة أكثر ميلًا للتمسك بإجاباتها الأولية عندما تكون مرئية لها مقارنة بالحالات التي لا تراها فيها، أي أنها تصبح أكثر ثقة. كما تبين أنه عند تلقي نصائح معارضة، غالبًا تفقد هذه النماذج الثقة وتغيّر قرارها بنحو أسرع بكثير مقارنة بحالات تلقي النصائح الداعمة. وقد لوحظت هذه الأنماط في عدة نماذج مختلفة، مثل: Gemma 3 و GPT-4o و o1-preview.

تُعد هذه النتائج مهمة؛ لأن العديد من الصناعات أصبحت تعتمد بنحو متزايد على النماذج اللغوية الكبيرة. ومع ذلك، يكشف هذا البحث أنها ليست أدوات منطقية، بل تمتلك مجموعة من التحيزات ويمكن التأثير فيها بسهولة. وهذا يعني أن إضافة معلومات حديثة إلى المحادثات الطويلة بين الإنسان وروبوت الذكاء الاصطناعي سيكون لها تأثير في ثقته بردوده، وقد يغيرها.

إن فهم هذه الجوانب الدقيقة وغيرها من آليات اتخاذ القرار لدى النماذج اللغوية الكبيرة يمكن أن يساعد في تصميم أنظمة ذكاء اصطناعي أفضل وأكثر أمانًا وموثوقية.

نسخ الرابط تم نسخ الرابط