أعلنت IBM عن نماذجها الجديدة Granite 4.2، وهي عائلة من نماذج اللغة الكبيرة موجهة نحو الاستدلال والمنطق. تأتي النماذج بثلاث أحجام: 3 مليارات و8 مليارات و30 مليار معاملة، وتشترك جميعها في نفس البنية الأساسية والمسار التدريبي.
تم تدريب كل نموذج من الصفر على ما يقارب 15 تريليون رمز باستخدام استراتيجية ذات خمس مراحل. ركزت المرحلتان الأوليتان على التدريب الأساسي، بينما عملت المرحلتان الثالثة والرابعة على تحسين جودة البيانات تدريجيًا. خصصت المرحلة الخامسة لتوسيع نافذة السياق ليصل إلى 512 ألف رمز، مما يسمح للنموذج بمعالجة نصوص طويلة جدًا.
تتمتع جميع نماذج Granite 4.2 بآلية تبديل بين وضع التفكير العميق والعمل المباشر، مما يتيح للمستخدم اختيار مستوى الاستدلال المطلوب. تدعم النماذج أيضًا استدعاء الأدوات بشكل أصلي وتتوافق مع صيغة OpenAI للعمل مع الأنظمة الأخرى دون صعوبة.
خضعت نماذج الحجم الأكبر (8 و30 مليار معاملة) لتدريب إضافي يركز على التعامل مع الأدوات الحقيقية داخل بيئات معزولة. يشمل هذا التدريب تطبيقات متنوعة مثل هندسة البرمجيات، استخدام المحطة الطرفية، البحث عبر الويب، وتحرير وتشغيل الأكواد.
اتبعت IBM نهجًا متعدد المراحل في التدريب اللاحق باستخدام تعزيز التعلم. يتضمن هذا النهج سلسلة من المراحل المتخصصة تغطي الرياضيات والأكواد والعلوم والمتابعة المتسلسلة للتفكير. كل مرحلة تعمل بشكل مستقل وتبني على إنجازات المرحلة السابقة.
تُطلق IBM جميع نماذج Granite 4.2 تحت رخصة Apache 2.0، مما يسمح باستخدامها على نطاق واسع. تتوفر النماذج عبر نقطة نهاية متوافقة مع OpenAI ويمكن دمجها مع أطر عمل مثل vLLM و SGLang.
Comments (0)
No comments yet. Be the first.