طرحت أمازون ويب سيرفيسز نمطاً معمارياً جديداً يربط بوابة LiteLLM برموز OpenAI وخدمة Amazon Bedrock، موفراً للمؤسسات سيطرة مركزية على الوصول إلى موديلات الذكاء الاصطناعي. يتيح هذا الحل للفرق الهندسية الانتقال من التجريب الفردي إلى المراحل المدارة من التبني المؤسسي.

تعمل البوابة كنقطة تحكم موحدة توفر المصادقة، والتوجيه بين الموديلات، وإدارة الميزانيات، وتحديد معدلات الاستخدام، والتلسكوبية التشغيلية. يحتفظ المطورون بالمسؤولية عن حلقة تنفيذ المهام المحلية والموافقات الأمنية على أجهزتهم، بينما يمر الاستدلال عبر البنية التحتية في حساب أمازون ويب سيرفيسز.

تم نشر الحل على خدمة Elastic Container Service مع قاعدة بيانات RDS وموازن تحميل تطبيقي. تشمل الميزات المرجعية عمليات الرجوع التلقائي، الفحوصات الصحية، التوسع الديناميكي، التشفير الشامل، والتنبيهات التشغيلية. يستهدف الحل البيئات الإنتاجية التي تتطلب فصلاً آمناً بين المكونات المحلية والبنية التحتية السحابية.

يمثل هذا النمط خياراً وسيطاً بين الوصول المباشر إلى Bedrock والاعتماد على خدمات بوابات مُدارة من الغير. يناسب المؤسسات التي تحتاج تحكماً إضافياً موحداً عبر الفرق والموديلات، لكنه يتطلب من الفريق الداخلي إدارة توفر البوابة، ودورة حياة قاعدة البيانات، والترقيات، والاستجابة للحوادث.

أتاحت أمازون الكود الكامل والتوثيق في مستودع guidance-codex، مع دليل سريع على AWS. تبقى نماذج الاستدلال وفق إمكانيات الحساب والمنطقة الجغرافية، وينصح بمراجعة التسعير الحالي لكل منطقة بسبب كلفة الموارد المدرجة.