أثارت ميتا جدلاً واسعًا بسبب استخدامها نسخةً تجريبيةً غير مُطْلَقة من نموذجها “Llama 4 Maverick” لِتحقيق نتيجة عالية في معيار LM Arena لِلدردشة. وقد دفع ذلك مسؤولي LM Arena إلى الاعتذار وتغيير سياساتهم وتقييم نسخة “مَافريك” العادية غير المُعدّلة.
وقد أظهرت النتائج أنّ نسخة “مَافريك” العادية (Llama-4-Maverick-17B-128E-Instruct) تحتلّ مركزًا متأخرًا مقارنةً بِنماذج أخرى مثل GPT-4o من OpenAI، وClaude 3.5 Sonnet من Anthropic، وGemini 1.5 Pro من جوجل. والجدير بِالذكر أنّ عديدًا من هذه النماذج قديمة بِشهور.
يُعزى سوء الأداء إلى أنّ النسخة التجريبية من “مَافريك” (Llama-4-Maverick-03-26-Experimental) قد صُمّمت خصّيصًا لِتحسين جودة الدردشة. وقد أثبتت هذه التحسينات فعاليتها في معيار LM Arena، الذي يعتمد على مقارنة مُقيّمين بشريين لِمخرجات النماذج واختيار الأفضل.
مع ذلك، يُعرف عن معيار LM Arena عدم دقّته كليًا في قياس أداء نماذج الذكاء الاصطناعي. كما أنّ تعديل النموذج لِيتناسب مع معيارٍ مُحدّد يُصعّب من توقع أداء النموذج في سياقاتٍ مُختلفة.
أكدت ميتا أنّها تجري تجربةً مع جميع أنواع النسخ المُخصصة، وأشارت إلى أنّ النسخة التجريبية قد أظهرت أداءً جيدًا في معيار LM Arena. وتُتوقع ميتا أن يُعدّل المُطوّرون نموذج Llama 4 لِيتناسب مع حالات استخدامهم الخاصة.
هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي.
