فك رموز معالجة اللغة في الدماغ البشري من خلال تمثيل LLM

أثناء إنتاج الكلام ، من الواضح أن تضمينات اللغة (الأزرق) في IFG بلغت ذروتها قبل أن تتم تضمينات الكلام (الأحمر) في منطقة الحواس ، تليها ذروة ترميز الكلام في STG. في المقابل ، أثناء فهم الكلام ، تحولت ذروة الترميز إلى بعد بداية الكلمة ، مع تضمينات الكلام (الأحمر) في ذروة STG بشكل كبير قبل تشفير اللغة (الأزرق) في IFG.

الكل في الكل ، تشير النتائج التي توصلنا إليها إلى أن تضمينات نموذج الكلام إلى النص توفر إطارًا متماسكًا لفهم الأساس العصبي للمعالجة أثناء المحادثات الطبيعية. من المثير للدهشة أنه في حين تم تطوير Whisper فقط من أجل التعرف على الكلام ، دون النظر في كيفية معالجة الدماغ لغة ، وجدنا أن تمثيلاته الداخلية تتماشى مع النشاط العصبي أثناء المحادثات الطبيعية. لم تكن هذه المحاذاة مضمونة – كانت النتيجة السلبية قد أظهرت القليل من المراسلات بين التضمين والإشارات العصبية ، مما يشير إلى أن تمثيلات النموذج لم تلتقط آليات معالجة لغة الدماغ.

مفهوم مثير للاهتمام بشكل خاص التي كشفت عنها المحاذاة بين LLMs والدماغ البشري هو فكرة “التسلسل الهرمي الناعم” في المعالجة العصبية. على الرغم من أن مناطق الدماغ المشاركة في اللغة ، مثل IFG ، تميل إلى تحديد أولويات المعلومات الدلالية والبنية على مستوى الكلمات-كما هو موضح من خلال توافق أقوى مع تضمينات اللغة (الأزرق)-فإنها تلتقط أيضًا ميزات تسميد منخفضة المستوى ، والتي تتضح من التوافق السفلي مع دمج الكلام (الأحمر). وعلى العكس من ذلك ، تميل مناطق الكلام ذات الترتيب المنخفض مثل STG إلى إعطاء الأولوية للمعالجة الصوتية والصوتية-كما هو موضح من خلال توافق أقوى مع تضمينات الكلام (الأحمر)-كما أنها تلتقط معلومات على مستوى الكلمات ، واضحة من التوافق السفلي ولكن الهام مع تضمين اللغة (الأزرق).