كشف تقرير تقني جديد عن دليل عملي لبناء سير عمل متكامل يهدف إلى تطوير نماذج لغوية صغيرة تركز على مهارات التفكير والاستدلال. ويعتمد هذا الدليل على استخدام مجموعة بيانات SupraLabs المخصصة للتفكير، حيث يتم جلب عينة ممثلة منها مباشرة عبر منصة Hugging Face دون الحاجة لتحميل الملفات بالكامل، مما يسهل معالجتها وتحليلها بكفاءة.
ويتضمن المسار المقترح تحويل البيانات المستوردة إلى إطار عمل pandas لتحليل توزيع مصادرها، وقياس أطوال الرموز (tokens)، وحساب نسب التفكير مقارنة بالإجابات النهائية. وعقب ذلك، يتم تطبيق مصفوفة تصفية ذكية لاستبعاد العينات غير المناسبة، مثل النصوص المكررة أو الإجابات غير المكتملة، لضمان جودة البيانات المستخدمة في التدريب.
بعد تنقية البيانات، يجري تحويل العينات المقبولة إلى صيغة محادثة مهيكلة تتضمن توجيهات النظام ورسائل المستخدم، مع دمج وسم التفكير الخاص <think>. ويُستخدم هذا التنسيق لإجراء ضبط دقيق فعال لمعاملات النموذج اللغوي الصغير SmolLM2-135M-Instruct باستخدام تقنية LoRA عبر أداة SFTTrainer التابعة لمكتبة TRL في بيئة Google Colab.
وفي المراحل النهائية، يتيح النظام اختبار النموذج الذي تم ضبطه عبر وظيفة استدلال مخصصة تفصل بين قسم التفكير والإجابة النهائية، مع إمكانية تصدير البيانات المعالجة بصيغة Parquet لإعادة استخدامها في تجارب أوسع نطاقاً. ويوفر هذا النهج أساساً مرناً لتطوير نماذج استدلالية متطورة دون استهلاك مفرط لذاكرة الأجهزة.
Comments (0)
No comments yet. Be the first.