معجم الذكاء الاصطناعي

الشبكة الاتصالية

Feedforward Network

شبكة تنقل المعلومات في اتجاه واحد.

طبقة الإدخال

Input Layer

الطبقة الأولى التي تستقبل البيانات.

طبقة الإخراج

Output Layer

الطبقة الأخيرة التي تنتج النتيجة.

الطبقة المخفية

Hidden Layer

طبقة بين الإدخال والإخراج.

دالة التنشيط

Activation Function

دالة رياضية على مخرجات كل وحدة.

دالة تنشيط ReLU

ReLU Activation

دالة تعيد القيمة الموجبة أو الصفر.

دالة softmax

Softmax Function

تحويل الأرقام إلى احتمالات.

التطبیق

Convolution

تطبيق مرشح على المدخل.

التجميع الموضعي

Pooling

تقليل أبعاد المخرجات لتحسين الكفاءة.

طبقة التسطيح

Flatten Layer

تحويل البيانات إلى متجه واحد.

الخطوة

Stride

حجم الخطوة للنافذة العصبية.

الحشوة

Padding

إضافة قيم صفر حول المدخل.

الوحدة التكرارية

Recurrent Unit

وحدة تحتفظ بحالة مخفية سابقة.

الوحدة المحصنة

Gated Unit

وحدة ببوابات لتنظيم المعلومات.

طبقة التجميع

Aggregation Layer

طبقة تجمع معلومات من مصادر متعددة.

تحسين الاستدلال

Inference Optimization

تحسين سرعة وكفاءة عملية الاستدلال.

تقسيم الانتباه

Attention Partitioning

تقسيم آليات الانتباه لتحسين الكفاءة الحسابية.

الاستخراج التوقعاتي

Speculative Decoding

تسريع التوليد باستخدام نموذج صغير لتقليل زمن الاستجابة.

التخزين المؤقت للمفاتيح والقيم

KV Cache

تخزين مفاتيح القيم لتسريع عملية الاستدلال المتسلسل.

التحويل الكمي للاستدلال

Inference Quantization

تحويل الأوزان إلى دقة أقل لتسريع عملية الاستدلال.

تقنية ALiBi

ALiBi

تقنية ترميز موضعي خطية للتعامل مع السياق الطويل.

انتباه متعدد الاستعلامات

Multi-Query Attention

استخدام استعلامات مشتركة لتسريع عملية الانتباه.

خوارزمية الانتباه السريع

Flash Attention

خوارزمية انتباه فائقة السرعة لتقليل استخدام الذاكرة.

الخروج المبكر

Early Exit

الخروج المبكر من الشبكة لتقليل وقت الاستدلال.

التكيف بمنسوب منخفض

Low-Rank Adaptation

تقنية ضبط دقيق منخفض المنسوب لتحسين النماذج الكبيرة.

التكيف بمنسوب منخفض كمي

Quantized LoRA

تقنية LoRA مع تحويل كمي لتقليل استهلاك الذاكرة.

ضبط البادئات

Prefix Tuning

ضبط دقيق بإضافة بادئات قابلة للتدريب للنموذج.

ضبط المحفزات

Prompt Tuning

تعلم محفزات قابلة للتدريب لتحسين أداء النموذج.

تقنية IA3

Infused Adapter by Inhibiting and Amplifying

تقنية ضبط دقيق بتضخيم وقمع التفعيلات.

الضبط الدقيق الفعال بالمعلمات

Parameter-Efficient Fine-Tuning

ضبط دقيق فعال المعلمات لتقليل الموارد المطلوبة.

تعددية المتجهات

Tensor Parallelism

تقسيم المصفوفات على وحدات معالجة متعددة.

التوازي الأنبوبي

Pipeline Parallelism

تسلسل مراحل التدريب على وحدات متعددة.

نقطة فحص التفعيلات

Activation Checkpointing

تخزين مؤقت للتفعيلات لتقليل استهلاك الذاكرة.

الانتباه السريع للتدريب

Flash Attention for Training

استخدام خوارزمية الانتباه السريع أثناء التدريب.

الانتباه الكامن متعدد الرؤوس

MLA

انتباه كامن متعدد الرؤوس لتحسين كفاءة المحولات.

الترميز الموضعي الدوراني (اختصار)

RoPE

ترميز موضعي دوراني لتمثيل الموضع في المحولات.

الانتباه بالمحركات المجمعة

GQA

انتباه بمحركات مجمعة لتسريع عملية الاستدلال.

تنشيط SwiGLU

SwiGLU

دالة تنشيط محسنة لتحسين أداء المحولات.

تطبيع RMSNorm

RMSNorm

تطبيع بüsü الخطأ المربع الجذري لتحسين الاستقرار.

نماذج خليط الخبراء (اختصار MoE)

MoE

نماذج محولات بمكونات خبراء متعددة متخصصة.