معجم الذكاء الاصطناعي

التعلم المقارن

Contrastive Learning

تعلم تمثيلات من خلال المقارنة بين العينات.

إطار SimCLR

SimCLR

إطار تعلم تقاوني للتمثيلات البصرية الدلالية.

تمثيلات CLIP المشتركة

CLIP Embeddings

تمثيلات مشتركة للنصوص والصور بفضاء واحد.

تقطير التمثيلات

Representation Distillation

نقل التمثيلات من نموذج كبير إلى أصغر.

التمثيلات الخاملة

Sparse Representations

تمثيلات خاملة بقيم صفر كثيرة لتوفير الحساب.

التمثيلات المفككة

Disentangled Representations

تمثيلات منفصلة للسمات المختلفة بشكل مستقل.

التمثيلات ذاتية الإشراف

Self-Supervised Representations

تعلم تمثيلات ذاتية الإشراف من البيانات غير المعلمة.

التمثيلات متعددة الأوضاع

Cross-Modal Representations

تمثيلات مشتركة عبر أنواع بيانات مختلفة مثل النصوص والصور.

التمثيلات الزمنية

Temporal Representations

تمثيلات للبيانات الزمنية تحتوي على معلومات الترتيب.

تمثيلات الرسوم البيانية

Graph Embeddings

تمثيلات عقد الرسوم البيانية كمتجهات رقمية.

الانتباه الكامن متعدد الرؤوس

MLA

انتباه كامن متعدد الرؤوس لتحسين كفاءة المحولات.

الترميز الموضعي الدوراني (اختصار)

RoPE

ترميز موضعي دوراني لتمثيل الموضع في المحولات.

الانتباه بالمحركات المجمعة

GQA

انتباه بمحركات مجمعة لتسريع عملية الاستدلال.

تنشيط SwiGLU

SwiGLU

دالة تنشيط محسنة لتحسين أداء المحولات.

تطبيع RMSNorm

RMSNorm

تطبيع بüsü الخطأ المربع الجذري لتحسين الاستقرار.

نماذج خليط الخبراء (اختصار MoE)

MoE

نماذج محولات بمكونات خبراء متعددة متخصصة.

الانتباه الخامل

Sparse Attention

انتباه خامل لتحسين الكفاءة الحسابية والذاكرة.

الانتباه الخطي

Linear Attention

انتباه خطي لتقليل التعقيد الحسابي.

الانتباه بالنافذة

Windowed Attention

انتباه بنافذة محدودة لتقليل التعقيد الحسابي.

انتباه المرساة

Attention Sink

طريقة لتقليل استهلاك الذاكرة عبر رموز المرساة.

شبكة التغذية الأمامية المحصنة

Gated FFN

شبكة تغذية أمامية ببوابات لتنظيم تدفق المعلومات.

تنفيذ الانتباه والشبكة بالتزامن

Parallel Attention FFN

تنفيذ الانتباه والشبكة الأمامية بالتزامن لتسريع التدريب.

المعالجة المسبقة بالقطعة

Chunked Prefill

معالجة المدخلات الطويلة على أجزاء متتالية.

الانتباه الشعاعي

Radix Attention

انتباه شعاعي لتحسين استخدام الحساب المتكرر.

الانتباه الهجين

Hybrid Attention

دمج أنواع مختلفة من آليات الانتباه لتحسين الأداء.

السياق الطويل

Long Context

معالجة نصوص طويلة جداً في النماذج اللغوية.

النافذة المنزلقة

Sliding Window

معالجة السياق بنافذة منزلقة لتقليل التعقيد.

الانتباه الحلقي

Ring Attention

انتباه حلقي لتوزيع السياق الطويل على وحدات متعددة.

تقنية YaRN للترميز

YaRN

تقنية ترميز موضعي للتعامل مع السياق الطويل.

ضغط السياق

Context Compression

ضغط السياق لتقليل استهلاك الذاكرة في المعالجة.

نافذة السياق

Context Window

حجم السياق الأقصى الذي تتعامل معه النماذج اللغوية.

الانتباه اللامتناهي

Infini-Attention

انتباه لا نهائي لمعالجة السياق الطويل بكفاءة.

معالجة السياق المتواصلة

StreamingLLM

معالجة السياق بشكل متواصل للنصوص الطويلة.

الترميز الموضعي الممتد

LongRoPE

ترميز موضعي ممتد للتعامل مع السياق الطويل جداً.

تمديد السياق

Context Extension

توسيع نافذة السياق للنماذج اللغوية.

التخزين المؤقت الخامل للمفاتيح والقيم

Sparse KV Cache

تخزين مؤقت خامل لتحسين كفاءة الذاكرة.

تعددية السياق

Context Parallelism

توزيع السياق على وحدات معالجة متعددة.

إسقاط الرموز

Token Dropping

إسقاط بعض الرموز لتقليل الحساب المطلوب.

رموز مرساة الانتباه

Attention Sink Tokens

رموز مرساة للانتباه في معالجة السياق الطويل.

تقنيات RAG المتقدمة

Advanced RAG

تقنيات متقدمة لتحسين أداء أنظمة الاسترجاع المعزز.