أطلقت فريقا Z.ai وعلي بابا نموذجي ذكاء اصطناعي متقدمين يومي الأسبوع الماضي، حيث كشفت Z.ai عن GLM-5.3-Flash، نموذج متعدد الأنماط بـ 320 مليار معامل مع 18 مليار معامل نشط، بينما أطلقت مجموعة Qwen بعلي بابا نموذج Qwen3.8-Flash-Next بـ 125 مليار معامل و6 مليارات معامل نشط كمعاينة لمعمارية Qwen4 القادمة.

على الرغم من تطوير الفريقين للنموذجين بشكل مستقل، تشترك معماريتاهما في عناصر متقاربة بشكل لافت. يستخدم كلاهما دمجاً بنسبة 3:1 بين آليات الانتباه الخطية والكاملة، كما يقتصر محدد السياق على 2048 رمزاً. كلا النموذجين يوسعان تدفق البقايا إلى أربعة فروع مبوابة، ويدربان باستخدام محسّن Muon بمصفوفات معاملات مدمجة تنقسم قبل التعامد.

أطلقت Z.ai نموذجها تحت ترخيص MIT على Hugging Face، وحقق شهرة سريعة على OpenRouter بصفته الأكثر استخداماً في أسبوع إطلاقه. تم تدريب GLM-5.3-Flash على 30 تريليون رمز متعدد الأنماط مع نافذة سياق بمليون رمز. أما Qwen3.8-Flash-Next فيوفر نافذة سياق أصلية قدرها 262 ألف رمز قابلة للتوسع إلى مليون رمز باستخدام تقنية YaRN، مع استهلاك حاسوبي أقل بتسعة أضعاف من نسخة Qwen3.7-Plus.

تمثل الآليات الخطية في كلا النموذجين جانباً اقتصادياً حيث تضغط كل السياق السابق في حالة تكرارية ذات حجم ثابت، مما يبقي التكلفة الحاسوبية ثابتة بغض النظر عن طول السياق. استخدمت Z.ai تصميم Kimi Delta Attention من Moonshot AI، بينما طورت Qwen نسختها الخاصة Gated DeltaNet. كلا التصميمين ينتميان إلى عائلة delta-rule ويحققان الهدف ذاته بآليات مختلفة.

تظهر نقطة اختلاف واضحة حول الاستقطابات الدورانية في طبقات الانتباه الكامل. أسقطت Z.ai هذه الآلية من نموذجها بالكامل، بينما احتفظت Qwen بها بعد ملاحظة مشكلة: أثناء المرحلة اللاحقة من التدريب، أظهر المتغير بدون استقطابات دورانية فشلاً في التوقف عن التوليد، مما يشير إلى أن خسائر التدريب المسبق قد تخفي عيوباً سلوكية تظهر فقط بعد ضبط التعليمات المعززة.

يعكس هذا التقارب في المعمارية سياقاً أوسع حيث تتبادل المختبرات الصينية مثل DeepSeek وMoonshot وعلي بابا مكونات البنية المعمارية وتتقارب على إعدادات مشتركة. غير أن شركة MiniMax تمثل موقفاً مختلفاً، حيث اختبرت فريقها الانتباه الخطي والانتباه بنافذة منزلقة على نطاق واسع ووجدت نقاصاً شديداً في الاستدلال متعدد القفزات، مما دفعها للاعتماد على الانتباه الكامل بكل طبقاتها.