طرحت مجموعة بحثية من جامعة بيركلي حلاً جديداً لمشكلة تواجه النماذج اللغوية الكبيرة عند تعاملها مع المهام التي تمتد لمئات أو آلاف الخطوات. الحد الأساسي للسياق في هذه النماذج يجعل من المستحيل الاحتفاظ بكامل سجل التفاعلات، مما دفع الأنظمة الحالية مثل Cursor و Grandcode للاعتماد على طرق ضغط السياق والتلخيص الذاتي، غير أن هذه الطرق تؤدي لتراجع ملحوظ في الأداء رغم أنه لا يظهر واضحاً في الاختبارات المعيارية.

يقدم الفريق إطار عمل يُسمى ABBEL يعتمد على صياغة الملخصات على شكل حالات معتقد يتم تحديثها بناءً على معلومات جديدة. بدلاً من ترك النموذج يلخص بحرية، يتم الإشراف على محتوى هذه المعتقدات من خلال تقنية تُدعى تصنيف المعتقد، وهي تعمل على غرار أجهزة الترميز الآلي حيث يُكافَأ النموذج على قدرته على إعادة بناء الملاحظات الأخيرة بناءً على حالة المعتقد.

أظهرت التجارب في بيئة البرمجة التعاونية أن تصنيف المعتقد المستند إلى إعادة البناء يقلل الفجوة في الأداء مقارنة بنماذج السياق الكامل بنسبة حوالي 50 في المئة، مع تقليل خطوات التدريب أيضاً بنسبة مماثلة. علاوة على ذلك، استهلاك الذاكرة يبقى أقل بكثير من النماذج التي تحتفظ بالسياق كاملاً.

في اختبار آخر على لعبة تشبه كلمات متقاطعة، أظهرت النسخة من ABBEL المدعومة بمعرفة حول المجال أداءً يضاهي أو يفوق نماذج السياق الكامل، بينما بقيت أكثر كفاءة في استخدام الذاكرة. في مهام الإجابة على أسئلة متعددة الأهداف، أثبتت تقنية عقوبة طول المعتقد فعاليتها في تقليل استهلاك الذاكرة دون تأثر ملحوظ بالأداء.

يشير الباحثون إلى أن استخدام حالات معتقد واضحة كحواجز معلوماتية يفتح احتمالات متعددة، منها توجيه الاستكشاف بناءً على تأثير الإجراءات على المعتقد، ونقل المعتقدات بين الوكلاء لتحسين التواصل، وحتى زيادة قابلية التحكم من جانب المستخدم. يؤكدون أن الأنظمة الأقوى ستحتاج غالباً إلى مزيج من أشكال متعددة للذاكرة، حيث يلعب السياق دور الذاكرة العاملة بينما تُستخدم طرق أخرى للذاكرة قصيرة وطويلة المدى.