تبسيط النص ذي الحد الأدنى مع الجوزاء
كتب – المحرر الإفتراضي
التقييم التلقائي الذي يعمل بالجيميني ونظام التحسين السريع
من أجل تحقيق أهدافنا ، قمنا بتطوير نهج تلقائي للاستفادة من نماذج الجوزاء لتقييم جودة التبسيط وإعادة الدعامات الذاتية للمطالبات. ومع ذلك ، فإن صياغة المطالبات للتبسيط الدقيق ، حيث يجب أن تتحسن قابلية القراءة دون التضحية بالمعنى أو التفاصيل ، يمثل تحديًا. يعالج النظام الآلي هذا التحدي من خلال تمكين التجريبي والخطأ الشامل اللازم لاكتشاف المطالبة الأكثر فعالية.
التقييم الآلي
التقييم اليدوي غير عملي للتكرار السريع. يستخدم نظامنا مكونين للتقييم الجديد:
- تقييم قابلية القراءة: تجاوز مقاييس مبسطة مثل Flesch-Kincaid ، استخدمنا موجه الجوزاء لتسجيل قابلية قراءة النص على مقياس من 1 إلى 10. تم صقل هذا المطالبة بشكل تكراري ضد الحكم الإنساني ، مما يتيح تقييمًا أكثر دقة لسهولة الفهم. لاحظنا في اختبار أن تقييم قابلية القراءة المستند إلى LLM هذا يتوافق بشكل أفضل مع تقييمات قابلية القراءة البشرية من Flesch-Kincaid.
- تقييم الإخلاص: ضمان معنى الحفاظ على المعنى أمر بالغ الأهمية. باستخدام Gemini 1.5 Pro ، قمنا بتنفيذ عملية تُطالب بالخرائط من النص الأصلي إلى الإصدار المبسط. تحدد هذه الطريقة أنواع أخطاء محددة مثل فقدان المعلومات أو كسبها أو تشويهها ، كل منها مرجح بواسطة الشدة ، مما يوفر مقياسًا محببًا للإخلاص للمعنى الأصلي (اكتماله والاستفادة منه).
صقل موجه تكراري: LLMS تحسين LLMS
تعتمد جودة التبسيط النهائي (الذي تم إنشاؤه بواسطة Gemini 1.5 Flash) اعتمادًا كبيرًا على المطالبة الأولية. قمنا بتوصيل عملية التحسين الموجه نفسها عبر أ حلقة الصقل الفوري: باستخدام الدرجات التلقائية لقابلية القراءة والإخلاص ، قام نموذج Gemini 1.5 Pro بتحليل أداء موجه التبسيط والمطالبات المكررة المقترحة للتكرار التالي.
هذا ينشئ حلقة ردود فعل قوية حيث يحسن نظام LLM بشكل تكرار تعليماته الخاصة بناءً على مقاييس الأداء ، مما يقلل من الاعتماد على الهندسة اليدوية المطالبة وتمكين اكتشاف استراتيجيات التبسيط الفعالة للغاية. لهذا العمل ، ركضت الحلقة لـ 824 تكرارًا حتى يتم تعزيز الأداء.
هذه العملية الآلية ، حيث تقوم إحدى LLM بتقييم إخراج الآخر وتحسين تعليماتها (المطالبات) بناءً على مقاييس الأداء (قابلية القراءة والإخلاص) والأخطاء الحبيبية ، تمثل ابتكارًا رئيسيًا. إنها تتجاوز الهندسة اليدوية الدائمة الشاقة ، مما يمكّن النظام من اكتشاف استراتيجيات فعالة للغاية للتبسيط الدقيق على مئات التكرارات.
