نشرت AWS على مدونتها للتعلم الآلي دليلًا يشرح كيفية نشر ما يُعرف بنماذج القرار باستخدام llama.cpp على منصة Amazon SageMaker AI، وهي نماذج تحتاجها تطبيقات توجيه الطلبات واختيار إجراءات الوكلاء وتحديد نتائج السياسات، إذ تعيد درجات لمجموعة ثابتة من الخيارات بدل النص الحر.

ويعرض الدليل مسارين: الأول يستخدم حاوية AWS للتعلم العميق الخاصة بـllama.cpp لتقديم استجابات محادثة متوافقة مع واجهة OpenAI، والثاني يبني صورة فرعية تستبدل الخادم الافتراضي بمحول لأداة SemIf، المعروفة سابقًا باسم OpenJev، التي تعيد احتمالات الخيارات المعلنة دون توليد رمز للإجابة. ويتضمن المثال المرفق خيارات للنشر على المعالجات المركزية أو الرسومية.

وفي اختبار شمل 231 مهمة من JevBench، جاءت نقطة النهاية العاملة بمعالج رسومي أسرع بـ4.9 مرة عند الوسيط و32.2 مرة عند المئين 95 مقارنة بالمعالج المركزي، واختارت SageMaker مثيل ml.g6e.xlarge بمعالج Nvidia L40S. وحققت النماذج الأصغر بحجمي 2B و0.8B دقة 66.7% و58.4%، لذا أبقى المثال نموذج 4B خيارًا افتراضيًا.

وتنصح AWS باستخدام المعالجات المركزية للأحمال غير الحساسة للتأخير، والرسومية للقرارات التفاعلية، مع إبقاء قواعد التفويض والمنطق الحتمي خارج النموذج والتحقق من الاحتمالات قبل اعتمادها.