طوّرت مختبرات الذكاء الاصطناعي في جامعة بيركلي خوارزمية جديدة تحل إحدى التحديات الكبرى في فهم نماذج اللغة الكبيرة، وهي رصد التفاعلات المعقدة بين مكوناتها. الخوارزمية المسماة SPEX تستخدم مبادئ من معالجة الإشارات ونظرية التشفير لتحديد التفاعلات الحاسمة بكفاءة عالية.

التحدي الأساسي يكمن في أن سلوك نماذج اللغة لا ينشأ من عناصر معزولة، بل من تفاعلات معقدة بين آلاف المكونات والميزات. عدد التفاعلات المحتملة ينمو بشكل أسي مع عدد المكونات، ما يجعل التحليل الشامل مستحيلاً حسابياً. لكن الفريق لاحظ أن عدد التفاعلات المؤثرة فعلياً يبقى صغيراً نسبياً، وهذه الملاحظة السمة أساس الحل الجديد.

الخوارزمية تعتمد على تعطيل أجزاء مختلفة من المدخلات وقياس التغيير الناتج في المخرجات، مستفيدة من خصائص البيانات مثل الندرة والدرجة المنخفضة. نسخة محسّنة تسمى ProxySPEX اكتشفت خاصية إضافية هي الهرمية، حيث تظهر التفاعلات ذات الرتبة الأعلى مرتبطة بنظيراتها ذات الرتبة الأقل. هذا يقلل عدد الحسابات المطلوبة بحوالي عشرة أضعاف.

اختبارات الفريق أظهرت نتائج ملموسة عبر تطبيقات متعددة. في تحليل المشاعر، حافظت SPEX على دقتها مع نصوص طويلة تحتوي آلاف الميزات، بينما فشلت الطرق التقليدية. في تحليل مشكلة الترولي المعدّلة، كشفت الخوارزمية أن ضعف أداء نموذج GPT-4o mini ارتبط بتفاعل بين كلمات محددة، وليس بكلمة واحدة كما أظهرت الطرق السابقة.

تطبيقات إضافية تشمل اكتشاف التفاعلات بين بيانات التدريب، والتمييز بين التفاعلات المترادفة التي تعزز مفاهيم معينة والتفاعلات التآزرية التي تحدد حدود القرار. كما استُخدمت لتحسين استراتيجيات قص رؤوس الانتباه في المحولات، ما أدى إلى تحسن فعلي في الأداء على مهام محددة.