القياس LLMs للصحة العالمية
كتب – المحرر الإفتراضي
أظهرت نماذج اللغة الكبيرة (LLMS) إمكانات لإعادة التنفيذ الطبي والصحي عبر مختلف الاختبارات المتعلقة بالصحة وتمتد تنسيقات ومصادر مختلفة. في الواقع ، كنا في طليعة الجهود المبذولة لتوسيع فائدة LLMs للتطبيقات الصحية والتطبيقات الطبية ، كما هو موضح في عملنا الأخير في Med-Gemini و Medpalm و AMIE و AI الطبية متعددة الوسائط وإصدارنا لأدوات التقييم الجديدة وطرقها لتقييم الأداء النموذجية عبر سياقات مختلفة. لا سيما في الإعدادات ذات الموارد المنخفضة ، يمكن أن تكون LLMs بمثابة أدوات تدعم القرار القيمة ، وتعزيز دقة التشخيص السريري ، وإمكانية الوصول ، ودعم القرار السريري متعدد اللغات ، والتدريب الصحي ، وخاصة على مستوى المجتمع. ومع ذلك ، على الرغم من نجاحهم في المعايير الطبية الحالية ، لا يزال هناك بعض عدم اليقين حول مدى تعميم هذه النماذج على المهام التي تنطوي على تحولات التوزيع في أنواع الأمراض والمعرفة الطبية الخاصة بالمنطقة والتباينات السياقية عبر الأعراض واللغة والموقع والتنوع اللغوي والبريد الثقافي الموضعي.
الأمراض الاستوائية والمعدية (Trinds) هي مثال على مجموعة فرعية من مرض التوزيع هذه. تتجول Trinds إلى حد كبير في أفقر مناطق العالم ، مما يؤثر على 1.7 مليار شخص على مستوى العالم مع آثار غير متناسبة على النساء والأطفال. تشمل التحديات في منع هذه الأمراض وعلاجها قيودًا في المراقبة والاكتشاف المبكر والتشخيص الأولي الدقيقو الإدارة ، واللقاحات. يمكن أن تتيح LLMs للإجابة على الأسئلة المتعلقة بالصحة الفحص والمراقبة المبكرة بناءً على أعراض الشخص وموقعه وعوامل الخطر. ومع ذلك ، تم إجراء دراسات محدودة فقط لفهم أداء LLM على trinds مع عدد قليل من مجموعات البيانات الموجودة لتقييم LLM صارم.
لمعالجة هذه الفجوة ، قمنا بتطوير شخصيات اصطناعية-على سبيل المثال ، مجموعات البيانات التي تمثل الملفات الشخصية والسيناريوهات ، وما إلى ذلك ، والتي يمكن استخدامها لتقييم النماذج وتحسينها-ومنهجيات قياسية لمجموعات الأمراض خارج التوزيع. لقد أنشأنا مجموعة بيانات Trinds التي تتكون من 11000 شخص يدويًا وإنشاء LLM تمثل مجموعة واسعة من الأمراض المدارية والمعدية عبر تكبير الديموغرافي والسياق والموقع واللغة والسريرية والمستهلك. تم تقديم جزء من هذا العمل مؤخرًا في ورش عمل Neurips 2024 حول الذكاء الاصطناعى التوليدي للصحة والتقدم في نماذج الأساس الطبي.
