معجم الذكاء الاصطناعي

التكيف بمنسوب منخفض

Low-Rank Adaptation

تقنية ضبط دقيق منخفض المنسوب لتحسين النماذج الكبيرة.

التكيف بمنسوب منخفض كمي

Quantized LoRA

تقنية LoRA مع تحويل كمي لتقليل استهلاك الذاكرة.

ضبط البادئات

Prefix Tuning

ضبط دقيق بإضافة بادئات قابلة للتدريب للنموذج.

ضبط المحفزات

Prompt Tuning

تعلم محفزات قابلة للتدريب لتحسين أداء النموذج.

تقنية IA3

Infused Adapter by Inhibiting and Amplifying

تقنية ضبط دقيق بتضخيم وقمع التفعيلات.

الضبط الدقيق الفعال بالمعلمات

Parameter-Efficient Fine-Tuning

ضبط دقيق فعال المعلمات لتقليل الموارد المطلوبة.

تعددية المتجهات

Tensor Parallelism

تقسيم المصفوفات على وحدات معالجة متعددة.

التوازي الأنبوبي

Pipeline Parallelism

تسلسل مراحل التدريب على وحدات متعددة.

نقطة فحص التفعيلات

Activation Checkpointing

تخزين مؤقت للتفعيلات لتقليل استهلاك الذاكرة.

الانتباه السريع للتدريب

Flash Attention for Training

استخدام خوارزمية الانتباه السريع أثناء التدريب.

الانتباه الكامن متعدد الرؤوس

MLA

انتباه كامن متعدد الرؤوس لتحسين كفاءة المحولات.

الترميز الموضعي الدوراني (اختصار)

RoPE

ترميز موضعي دوراني لتمثيل الموضع في المحولات.

الانتباه بالمحركات المجمعة

GQA

انتباه بمحركات مجمعة لتسريع عملية الاستدلال.

تنشيط SwiGLU

SwiGLU

دالة تنشيط محسنة لتحسين أداء المحولات.

تطبيع RMSNorm

RMSNorm

تطبيع بüsü الخطأ المربع الجذري لتحسين الاستقرار.

نماذج خليط الخبراء (اختصار MoE)

MoE

نماذج محولات بمكونات خبراء متعددة متخصصة.

الانتباه الخامل

Sparse Attention

انتباه خامل لتحسين الكفاءة الحسابية والذاكرة.

الانتباه الخطي

Linear Attention

انتباه خطي لتقليل التعقيد الحسابي.

الانتباه بالنافذة

Windowed Attention

انتباه بنافذة محدودة لتقليل التعقيد الحسابي.

انتباه المرساة

Attention Sink

طريقة لتقليل استهلاك الذاكرة عبر رموز المرساة.

شبكة التغذية الأمامية المحصنة

Gated FFN

شبكة تغذية أمامية ببوابات لتنظيم تدفق المعلومات.

تنفيذ الانتباه والشبكة بالتزامن

Parallel Attention FFN

تنفيذ الانتباه والشبكة الأمامية بالتزامن لتسريع التدريب.

المعالجة المسبقة بالقطعة

Chunked Prefill

معالجة المدخلات الطويلة على أجزاء متتالية.

الانتباه الشعاعي

Radix Attention

انتباه شعاعي لتحسين استخدام الحساب المتكرر.

الانتباه الهجين

Hybrid Attention

دمج أنواع مختلفة من آليات الانتباه لتحسين الأداء.

ضغط التخزين المؤقت

KV Cache Compression

ضغط التخزين المؤقت لتحسين الكفاءة.

قص النموذج

Model Pruning

قص الأوزان غير الضرورية لتقليل الحجم.

القص المنظم

Structured Pruning

قص منظمة للطبقات والأعصاب غير الضرورية.

مشاركة الأوزان

Weight Sharing

مشاركة الأوزان بين الطبقات لتقليل المعلمات.

تخزين النماذج المؤقتة

Model Caching

تخزين النماذج المؤقتة لتسريع الاستجابة.

الدفع المستمر

Continuous Batching

دفع متواصل لتحسين كفاءة الخادم.

تحسين المعالجة المسبقة

Prefill Optimization

تحسين مرحلة المعالجة المسبقة للمدخلات.

تحسين الاستخراج التسلسلي

Decode Optimization

تحسين مرحلة التوليد التسلسلي.

تعددية النموذج للاستدلال

Inference Model Parallelism

توزيع أجزاء النموذج أثناء الاستدلال.

خادم vLLM الفعال

vLLM

خادم فعال لاستدلال نماذج اللغة.

تحسين TensorRT-LLM

TensorRT-LLM

تحسين NVIDIA لاستدلال نماذج اللغة.

إطار SGLang للتوليد

SGLang

إطار توليد متسلسل فعال.

تنفيذ llama.cpp

llama.cpp

تنفيذ فعال لنماذج Llama بلغة C.

التحويل الكمي GGUF

GGUF Quantization

تحويل كمي بتنسيق GGUF للنماذج.

التحويل الكمي GPTQ

GPTQ Quantization

تحويل كمي GPTQ للنماذج الكبيرة.