نشرت AWS دليلًا تقنيًا يشرح كيفية نشر نموذج لغوي كبير على عقدتين مزودتين بوحدات GPU في خدمة Amazon EKS، باستخدام حاويات Ray LLM Deep Learning Containers المخصصة للتشغيل متعدد العقد. ويعمل النظام خلف نقطة وصول واحدة متوافقة مع واجهة OpenAI البرمجية.

ويعتمد الحل على فصل مرحلتي الاستدلال: مرحلة المعالجة الأولية (prefill) التي تعالج الطلب كاملًا وتبني ذاكرة التخزين المؤقت للمفاتيح والقيم، ومرحلة التوليد (decode) التي تنتج الإجابة رمزًا بعد آخر. وتوضح AWS أن الأولى تستهلك قدرة حوسبية كبيرة بينما تتقيد الثانية بعرض نطاق الذاكرة، وأن الفصل بينهما يمنع الطلبات الطويلة من إبطاء التوليد للطلبات الجارية، ما يناسب تطبيقات RAG وتلخيص المستندات والوكلاء.

وتضم الحاوية محرك vLLM وطبقة Ray Serve ومكتبة NIXL من NVIDIA لنقل ذاكرة التخزين المؤقت بين العقد، إلى جانب حزمة Elastic Fabric Adapter للاتصال السريع، ويُعرَف التطبيق كاملًا في ملف YAML دون شيفرة تطبيقية إضافية.

وفي المثال المشروح، تستضيف عقدة m7i.xlarge مكونات النظام ورأس Ray، بينما تتولى عقدتان من نوع g6.8xlarge المرحلتين، مع إتاحة الشيفرة الكاملة في مستودع مرافق.