يرى عالما الرياضيات تيموثي جاورز وبيتر سارناك أن نماذج اللغة الكبيرة تمتلك مهارات رياضية جادة، غير أنها تصطدم بحدود واضحة عند محاولة توليد أفكار جديدة فعلاً. يشير جاورز إلى أن هذه النماذج تجيد دمج الطرق المعروفة واستكشاف مسارات بحث متعددة، لكنها تفتقر الحدس اللازم لتحديد الطرق الفعّالة من بين خيارات بحثية لا حصر لها.

يتفق سارناك مع هذا التقييم، مؤكدًا أن الذكاء الاصطناعي يستطيع اشتقاق نتائج من نظريات موجودة، لكنه يعجز عن تطوير التجريدات الأساسية التي تدعم البراهين الكبرى عند الانطلاق من أسئلة بسيطة.

توصل باحث في DeepMind يدعى توم زاهافي إلى نتيجة مماثلة في ورقة بحثية عنوانها "نماذج اللغة لا تستطيع القفز". يعزو زاهافي الاختناق الحقيقي إلى ما يسميه "الاستقراء التلاعبي"، أي القدرة على اختراع افتراضات أساسية جديدة لا سابقة لغوية لها.

تشير هذه التقييمات إلى نقاش أوسع حول ما إذا كانت نماذج اللغة الكبيرة فعلاً تصبح أكثر تنوعًا في قدراتها أم أنها تتحسن فقط في الاختبارات القياسية والمشاكل المألوفة. يرى الباحثون أن النماذج العالمية قد تفتح طريقًا جديدًا للتقدم في هذا المجال.