نماذج لغة كبيرة تتعاون في مهام السياق الطويلة

نهج بسيط ولكنه فعال لتحسين فهم السياق الطويلة

استكشفت الدراسات السابقة بشكل أساسي اتجاهين رئيسيين: الحد من المدخلات و تمديد النافذة. تقليل الإدخال يقلل من طول سياق الإدخال – على سبيل المثال ، عن طريق اقتطاع المدخلات مباشرة – قبل التغذية إلى LLMs المصب. يمتد RAG هذا الاتجاه عن طريق تقسيم المدخلات إلى أجزاء ثم استرداد الإجابات على القطع الأكثر صلة بناءً على تشابه تضمين. ومع ذلك ، بسبب انخفاض دقة الاسترجاع ، يمكن أن تحصل LLMs على سياق غير مكتمل لحل المهمة ، مما يضر الأداء. يمتد امتداد النافذة نافذة سياق LLMs عبر الضبط الدقيق ، وتدريب النموذج على استهلاك مدخلات أطول. على سبيل المثال ، الجوزاء قادر على معالجة الرموز المميزة لكل مدخل مباشرة لكل إدخال. ومع ذلك ، عندما تصبح النافذة أطول حتى من قدرات الإدخال الممتدة ، لا تزال هذه LLMs تكافح من أجل التركيز على المعلومات المطلوبة لحل المهمة والمعاناة من استخدام السياق غير الفعال. يزداد تعقيد نهج السياق الطويل بسبب حقيقة أن التكلفة تزداد التربيع مع الطول بسبب تصميم بنية المحولات التي تكمن وراء معظم LLMs.

بدافع من التحديات المذكورة أعلاه ، قمنا بتصميم COA مع الإلهام من الطريقة التي يتشابك بها الأشخاص القراءة ومعالجة السياقات الطويلة تحت قيود الذاكرة العاملة المحدودة. في حين أن أساليب تقليل المدخلات تحتاج إلى البدء في المعالجة على مدخلات أقصر (“عملية قراءة”) ، تقوم COA بتقسيم المدخلات إلى أجزاء ثم تقوم بتعيين العمال لمعالجة كل قطعة متتالية قبل قراءة جميع المدخلات (“عملية القراءة المتشابكة”). علاوة على ذلك ، على عكس تمديد السياق ، تقوم COA بتعزيز قدرة LLMs على التواصل بين الوكلاء بدلاً من محاولة إطعام عدد كبير من الرموز في LLM. COA هي أيضًا حساب التكلفة الفعالة ، وتحسين بشكل كبير من الأساليب الكاملة ، على وجه الخصوص ، عن طريق تقليل التعقيد الزمني من ن2 ل NK، أين ن هو عدد رموز المدخلات و ك هو حد السياق من LLM.