أطلقت Amazon SageMaker ميزة Prefix-Aware Routing لتحسين تشغيل التطبيقات التي ترسل مقدمات نصية متكررة للنماذج.

وتقوم التقنية بإرسال الطلبات ذات المقدمة المتشابهة إلى الخادم نفسه للاستفادة من ذاكرة KV المخزنة مسبقًا.

وفي اختبارات Llama 3.1 70B انخفض متوسط زمن الوصول لأول رمز بنسبة وصلت إلى 77%.

كما ارتفع معدل إصابة ذاكرة التخزين المؤقت من نحو 25% إلى أكثر من 80%.

وسجلت الاختبارات زيادة في معدل المعالجة تصل إلى 16% في الأحمال ذات السياقات الطويلة.

وتفيد الميزة خصوصًا تطبيقات RAG والمحادثات الطويلة ومساعدات البرمجة والوكلاء ذات التعليمات الثابتة.