تصميم آلية لنماذج اللغة الكبيرة

على سبيل المثال ، في الموقف الموضح في الشكل أعلاه ، قد يكون التسلسل المشترك للرموز “تصميم آلية لـ”. قد تكون التوزيعات ((“كبيرة” ، 0.8) ، (“Generation” ، 0.2)) لـ LLM of Agent 1 ، (“كبير” ، 1.0) لـ LLM of Agent 2 ، و (“Generation” ، 1.0) لـ LLM of Agent 3. قد تكون العطاءات 1 و 2 و 2 على التوالي. سيكون التوزيع المجمعة المحتمل هو المتوسط ​​الموزوع للتوزيعات ، وهي ((“كبيرة” ، 0.56) ، (“Generative” ، 0.44)). سيكون الخيار المحتمل للمدفوعات هو مطالبة كل وكيل بدفع عرضه ، الأمر الذي قد يجعل الوكلاء يرتكبون 1 و 2 و 2 على التوالي.

لتحليلنا النظري لهذا النموذج (والخيارات المحتملة لوظائف تجميع التوزيع ووظائف الدفع) ، نفترض أن الوكلاء يبلغون بصدق توزيعاتهم ، ولكن قد يكونون استراتيجيين بشأن عروضهم. نعتقد أن هذا افتراض واقعي ، حيث أن LLMS تشفر التفضيلات على نص الإخراج بطريقة موجزة وغير واضحة. علاوة على ذلك ، لكي يكون المزاد الرمزي قادرًا على تجميع التوزيعات ، نحتاج إلى (على الأقل) بعض المعلومات (الحد الأدنى) حول تفضيلات الوكيل بعيدًا عن توزيعاتهم “المفضلة”. نهجنا هنا هو افتراض أن الوكلاء لديهم أوامر التفضيل الجزئية (المعروفة) على التوزيعات. أي أننا نفترض أن الوكلاء قد يكونون قادرين على تصنيف بعض أزواج التوزيعات ، ولكن ليس كلها.