أعلنت خدمة Machine Learning من أمازون عن إطلاق واجهتي برمجة جديدتين لمستودع SageMaker Feature Store، وهي منصة متخصصة لتخزين ومشاركة بيانات نماذج التعلم الآلي. تستهدف الواجهتان حل مشكلتين تواجهان فرق العمل: الأولى تتعلق بثقل الأحمال العالية، والثانية بالقدرة على استرجاع البيانات المفقودة.
تتمثل المشكلة الأولى في أن خوادم معالجة الميزات عالية الإنتاجية تضطر لإرسال استدعاء برمجي منفصل لكل سجل بيانات، ما يخلق عبء اتصالات كبيراً ويؤثر على السرعة. مثلاً، خط أنابيب كشف الاحتيال الذي يعالج عشرة آلاف سجل في الثانية عبر خمس مجموعات بيانات يحتاج لإصدار خمسين ألف استدعاء برمجي في الثانية فقط للحفاظ على تحديث البيانات. أما المشكلة الثانية فتخص مستخدمي طبقة التخزين بالذاكرة الحية، حيث لا توجد طريقة لاستعراض السجلات المحفوظة، فإذا فُقدت معرفات السجلات بسبب خلل أو فشل في خط الأنابيب، تصبح تلك السجلات غير قابلة للاسترجاع نهائياً.
الواجهة الأولى المسماة BatchWriteRecord تقبل حتى خمسة وعشرين سجلاً في طلب واحد بدلاً من طلب منفصل لكل سجل، ما يقلل حجم استدعاءات البرنامج بنسبة تصل إلى خمسة وعشرين مرة. تحافظ الواجهة على نفس آليات الترتيب الزمني للبيانات كما الطرق السابقة، وتعالج كل سجل بشكل مستقل، بحيث فشل سجل واحد لا يؤثر على بقية السجلات في الطلب. تدعم الواجهة أيضاً توجيه كل سجل نحو المخزن المباشر أو المتأخر أو كليهما حسب احتياجات التطبيق.
أما الواجهة الثانية ListRecords فتتيح البحث والاستعراض الكامل للسجلات المحفوظة في مجموعة البيانات باستخدام نظام الترقيم والتقسيم، مع تصفية تلقائية للسجلات المحذوفة أو منتهية الصلاحية. تعمل هذه الواجهة على كلا نمطي التخزين (الذاكرة الحية والقياسي)، وتحل مشكلة البيانات اليتيمة التي تبقى في الذاكرة دون إمكانية حذفها أو تتبعها. تفتح هذه الواجهة أمام مسارات عمل جديدة مثل التحقق من امتثال حذف البيانات وإدارة دورة حياة السجلات.
توفر الواجهتان معاً قدرات كانت صعبة أو مستحيلة في السابق: خطوط أنابيب إدراج ضخمة بعدد اتصالات أقل وتأخير أقل، سير عمل يتحقق من حذف البيانات بشكل كامل، وأدوات تشغيلية تستطيع استعراض محتويات مجموعات البيانات في الوقت الفعلي.
التعليقات (0)
لا توجد تعليقات بعد. كن أول المعلّقين.