أطلقت AWS ميزة Model Caching في SageMaker HyperPod لتقليل زمن تشغيل النماذج الضخمة عند زيادة عدد الخوادم.

وتقوم التقنية بتحميل أوزان النموذج وصور الحاويات مسبقًا إلى وحدات NVMe المحلية على عقد الحوسبة.

وبدل تنزيل مئات الجيجابايت من الشبكة عند كل تشغيل، يقرأ الخادم الملفات محليًا بسرعات تقارب 7 جيجابايت في الثانية.

وتشير AWS إلى أن نموذجًا بحجم DeepSeek-R1 الذي يتجاوز 600 جيجابايت قد يحتاج أكثر من 30 دقيقة للتحميل بالطريقة التقليدية.

وبعد التخزين المسبق يمكن لبعض الوحدات البدء في خدمة الطلبات خلال ثوانٍ.

وتستهدف الميزة الأنظمة التي تحتاج إلى التوسع السريع عند ارتفاع حركة المستخدمين بصورة مفاجئة.