رفع عالم الذكاء الاصطناعي البارز ريتشارد سوتن اعتراضاته على استراتيجية أساسية تنتهجها المختبرات الرائدة في المجال. يؤكد سوتن، الحائز جائزة تورينج والمؤسس الفعلي لمجال التعلم المعزز، أن البيانات الاصطناعية لن تحل مشكلة التوسع في نماذج اللغة الكبيرة، بسبب التعقيد الهائل للعالم الحقيقي.

أسس سوتن شركته الجديدة Oak Lab مع طالبه السابق خرام جاويد. قدم الثنائي انتقادًا شاملًا لأساليب التدريب الحالية، حيث يرى سوتن أن نماذج اللغة الكبيرة تمثل نجاحًا نسبيًا فقط. فبينما استطاعت هذه النماذج الاستفادة من الإنترنت بالكامل، فإنها اصطدمت بسقف لا يمكن تجاوزه، إذ أن الإنترنت موارده محدودة بينما العالم الحقيقي أضخم بكثير مما تم تخزينه رقميًا.

عندما سُئل عما إذا كانت البيانات الاصطناعية قادرة على تجاوز هذا الاختناق، أجاب سوتن بحزم: "لا، هذا خطأ كبير جدًا". يستند رفضه إلى فرضية جاويد المسماة "فرضية العالم الكبير"، التي يعمل فريق ألبرتا عليها منذ سنوات. تقول الفرضية إن العالم معقد بلا حدود وأكثر تعقيدًا بكثير من أي عقل أو وكيل، وأي محاكاة له تبقى ضئيلة جدًا. برنامج صغير لا يمكنه إنتاج عالم حقيقي دقيق، وسيفتقد تفاصيل مهمة مثل قيم الاحتكاك أو سلوك محركات الروبوت. كما أن العالم يحتوي على وكلاء آخرين لا يمكن بأي حال توليد بيانات اصطناعية عن أفكارهم ونواياهم.

ثمة اعتراض ثانٍ يتعلق بالاختناق البشري. من يحدد البيانات الاصطناعية الجيدة من السيئة؟ يتطلب هذا خبراء بشريين، مما يجعل التوسع محدودًا بالعنصر البشري ولا يتسع بسهولة. بدلًا من ذلك، يقترح سوتن إزالة البشر من حلقة التعليم وترك الوكلاء يتعلمون من تجاربهم الخاصة، حيث ينبغي لكل وكيل أن يبني نموذجه الخاص عن العالم ويحدثه باستمرار بدلًا من الاعتماد على محاكاة متجمدة بناها البشر.

ينتقد سوتن أيضًا أن نماذج اللغة الحالية تتوقف عن التعلم بعد المرحلة الأولية، حيث لا تتغير أوزانها. ما هو مطلوب فعلًا هو تعليم مستمر حقيقي، وهو ما يعتبره سوتن جوهر التعلم ذاته. يرى أن فريقه نشر طريقة تسمى "Continual Backprop" في مجلة Nature لمعالجة هذه المشكلة. يصف سوتن نماذج اللغة بأنها "نقلة علمية مذهلة"، لكنها تمثل فقط حوالي ربع الذكاء الفعلي.