معجم الذكاء الاصطناعي

تطور بنية المحولات

Transformer Evolution

تطور بنية المحولات عبر الزمن.

توجيه الخبراء في نماذج MoE

MoE Routing

توجيه الخبراء في نماذج خليط الخبراء.

رموز انتباه المرساة المتقدمة

Advanced Attention Sinks

رموز انتباه مرساة متقدمة.

الانتباه السريع الإصدار 3

Flash Attention 3

إصدار محسّن من خوارزمية الانتباه السريع.

الانتباه الخامل الأصلي

Native Sparse Attention

انتباه خامل أصلي فعال.

الانتباه متعدد الأحجام

Multi-Scale Attention

انتباه متعدد الأحجام لمعالجة البيانات المختلفة.

اختيار الرموز الديناميكي

Dynamic Token Selection

اختيار رموز ديناميكي لتحسين الكفاءة.

تقنيات تحجيم الطبقات

Layer Scaling

تقنيات تحجيم الطبقات لتحسين الاستقرار.

التوازي الخبير المتوازي

Expert Parallelism

تعددية الخبراء المتوازية لتسريع الحساب.

النقل المثالي للتعلم الآلي

Optimal Transport ML

نقل مثالي للتعلم الآلي لتحسين تدفق البيانات.

التحسين من الدرجة الثانية

Second-Order Optimization

تحسين من الدرجة الثانية لتقليل خطوات التدريب.

محسّن LAMB للتدريب المتوازي

LAMB

محسّن LAMB للتدريب المتوازي فعال.

محسّن AdaFactor الاقتصادي

AdaFactor

محسّن اقتصادي لتقليل استهلاك الذاكرة.

محسّن LION بالبحث الذكي

LION

محسّن LION بالبحث الذكي لتحسين التدريب.

محسّن SAM للمستوى

SAM

محسّن SAM لتقليل حدة الإقلاب في أسطح الخسارة.

تسخين معدل التعلم

Learning Rate Warmup

تسخين معدل التعلم في البداية لتحسين الاستقرار.

قص متقدم للتدرجات

Advanced Gradient Clipping

قص متقدم للتدرجات لتحسين الاستقرار.

جدولة تناقص الأوزان

Weight Decay Scheduling

جدولة تناقص الأوزان لتحسين التعميم.

تحليل مشهد الخسارة

Loss Landscape Analysis

تحليل مشهد الخسارة لفهم سلوك التحسين.

محسّن Lion

LION Optimizer

محسّن يعمل بالبحث الذكي يعتمد على الإشارة فقط لتقليل استهلاك الذاكرة.

تحلل القيمة المفردة

Singular Value Decomposition

تحليل رياضي يُفكّك مصفوفة إلى مكونات بسيطة تستخلص البنى الملاحظة والأبعاد الرئيسية، ويفيد في ضغط التضمينات وتقليل الأبعاد واستخراج الأنماط.

الضغط الهيكلي

Structural Compression

ضغط نموذج بإعادة هيكلة بنيته الداخلية كإزالة طبقات أو قنوات أو توحيد فروع، مع إعادة ضبط خفيفة لتقليص الحجم بأثر محدود في الدقة.

الاسترداد بعد الضغط

Post-Compression Recovery

مرحلة إعادة ضبط قصيرة بعد ضغط النموذج تهدف إلى استعادة جزء من الدقة التي فقدها الضغط وتحسين سلوكه بعد تقليصه.

توازن الضغط والدقة

Compression-Accuracy Tradeoff

موازنة في التصميم بين قوة الضغط وخسارة الدقة، إذ يزداد تقليص الحجم على حساب جودة النتائج، وتُختار النقطة الأنسب وفق استخدام النموذج.

الضغط بدون تدريب

Training-Free Compression

تقنيات ضغط لا تتطلب إعادة تدريب كامل للنموذج كالاقتطاع والتكميم بعد التدريب، فتُطبَّق بسرعة وبتكلفة حسابية دنيا.

تكميم التنشيط

Activation Quantization

تمثيل تنشيطات الطبقات بعدد بتات أقل أثناء التدريب أو التشغيل، فيقل حجم الذاكرة وتتسارع العمليات الحسابية بأثر محدود في الدقة.

الضغط المتدرج

Progressive Compression

ضغط متدرج يتناقص فيه حجم النموذج على دفعات مع إعادة ضبط بعد كل مرحلة، للوصول إلى ضغط أكبر مع متانة أعلى.

جدولة الضغط

Compression Scheduling

تخطيط توقيت وتتابع خطوات الضغط بحيث تُضغط المكونات الأقل حساسية أولًا وتُقاس الدقة بعد كل خطوة لضبط الخطوات التالية.

نسبة الضغط

Compression Ratio

نسبة حجم النموذج قبل الضغط إلى حجمه بعده، وتدل على مقدار التوفير في الذاكرة والتخزين في مقابل الدقة المتبقية.

التحليل منخفض الرتبة

Low-Rank Factorization

تقريبه بمصفوفتين أو أكثر منخفضة الرتبة تقارب الحجم الكامل، فيُخفض عدد المعلمات ويقل تنفيذ الحسابات مع محافظة قوية على الجودة.

التكميم بعد التدريب

Post-Training Quantization

تكميم أوزان النموذج بعد اكتمال تدريبه إلى أرقام أقل دقة، فيقل حجمه ويسرع تشغيله بتطبيق مباشر دون مرحلة تدريب إضافية.

التدريب الواعي بالتكميم

Quantization-Aware Training

طابع تدريب يُدرَّب فيه النموذج مع مراعاة تأثيرات التكميم المستقبلية بتقليد سلوك النسخة المكمَّمة، فيحتفظ الأداء بعد التكميم النهائي.

دمج النماذج

Model Merging

دمج أوزان نماذج متعددة أو تدريبات متوازية في نموذج واحد بالجمع أو التداخل الهندسي، لتجميع القدرات المتكاملة دون تدريب إضافي مكلف.

التناثر المنظم

Structured Sparsity

ضغط منظم بجلب مجموعات كاملة أو قنوات أو كتل إلى الصفر وفق أنماط محددة، فيولّد حسابات أسرع ويتوافق أداء مع أجهزة متخصصة.

طبقة التطبيع عبر طبقات المتانسفور

Normalization Layer with transformer layers

عنصر بنيوي طبقة التطبيع مستخدم عبر طبقات المتانسفور في هندسة النماذج العميقة.

ضغط المعلومات في الشبكات العصبية

Information Bottleneck with hidden layers

عنصر بنيوي ضغط المعلومات مستخدم في الشبكات العصبية في هندسة النماذج العميقة.

طبقة الالتفاف عبر طبقات المتانسفور

Convolutional Layer with transformer layers

عنصر بنيوي طبقة الالتفاف مستخدم عبر طبقات المتانسفور في هندسة النماذج العميقة.

سلم الترميز مع المحللات

Encoding Ladder (parsers)

عنصر معماري سلم الترميز مستخدم مع المحللات في النماذج العميقة.

طبقة التطبيع عبر التمثيلات

Normalization Layer with representations

عنصر بنيوي طبقة التطبيع مستخدم عبر التمثيلات في هندسة النماذج العميقة.

المعمارية العصبية مع دوال التنشيط

Neural Architecture with activation functions

عنصر بنيوي المعمارية العصبية مستخدم مع دوال التنشيط في هندسة النماذج العميقة.