بعد تنظيف البيانات وتنسيقها بشكل صحيح، يصبح التحدي الحقيقي هو تقدير حجم البيانات المطلوبة وجودتها. يوصي الخبراء بـ 2000 عينة عالية الجودة كنقطة انطلاق لمهام الضبط الموجه، لكن هذا الرقم يختلف باختلاف تعقيد المهمة ومدى بعد السلوك الحالي للنموذج عن الهدف المطلوب، فقد تحتاج مهام بسيطة إلى 500 عينة فحسب، بينما تستلزم المهام المعقدة 10 آلاف أو أكثر.

قبل بدء أي تجارب، لا بد من إنشاء معيار تقييم واضح ممثّل للاستخدام الفعلي، وهذا أصعب من تحضير بيانات التدريب نفسها في رأي معظم الفرق. يمكن تحديد حجم البيانات المثالي من خلال تحليل منحنيات التعلم التجريبي، حيث يوضح البحث أن ضبط النماذج لا يتبع نفس قانون التوسع المطرد في التدريب الأساسي. فقد أثبتت الدراسات أن التركيز على جودة ونطاق مجموعة التعليمات أهم من مجرد زيادة حجم البيانات، وأن تدريب مجموعة صغيرة عالية الجودة بكثافة قد يفوق تدريب مجموعة أكبر بكثير رآها النموذج مرة واحدة فقط.

عندما تصل العوائد إلى مرحلة التناقص، تبرز أهمية الاختيار الذكي للبيانات. توجد طرق متخصصة مثل DEITA و DELIFT واختيار المجموعات الأساسية التي تحدد أصغر مجموعة فرعية تغطي مجال المهمة مع الحفاظ على الجودة والتنوع. عند نقص البيانات أو ضيق نطاقها، يمكن توسيع مجموعة التدريب بتوليد آثار استدلالية وأمثلة مصطنعة بدون تكاليف إضافية للتعليق البشري، لكن كل عينة مُنتجة يجب أن تمر بنفس معايير الجودة المطلوبة من البيانات البشرية.

عند تخصيص النموذج لمهمة معينة، قد يفقد قدراته العامة، وهنا يأتي دور دمج البيانات من مصادر متعددة كآلية للتأمين على الكفاءات الأساسية. تُستخدم نسب مختلفة مثل 70 بالمئة بيانات المهمة المتخصصة و20 بالمئة بيانات تعليمات عامة و10 بالمئة بيانات أمان. غير أن الأبحاث تؤكد أن مقدار البيانات الفعلي لكل مهارة أهم من النسبة الدقيقة بين الفئات، وأن التدريب على البيانات المتخصصة أولاً ثم دمجها مع بيانات عامة يحقق نتائج أفضل من الخلط المباشر.

للفرق التي تتعامل مع مصادر بيانات كثيرة، توجد طرق آلية لإيجاد الأوزان المثالية بكفاءة حسابية أعلى، مثل DoReMi الذي يدرب نموذجاً بديلاً صغيراً لتحديد المجالات الأفضل أداءً، و RegMix الذي يستخدم الانحدار للتنبؤ بالأداء، و Dynamic Data Mixing الذي يعدل الأوزان أثناء التدريب. لكن للممارسين الجدد، اختيار 3 إلى 5 مزيجات محتملة وتدريب كل منها بشكل مختصر ثم تطبيق الأفضل على مستوى أكبر يكفي.