Lessons
But what is cross-entropy? | Compression is Intelligence Part 2
درس يشرح مصدر دالة الخسارة المستخدمة في تدريب نماذج اللغة الكبيرة. تعلّم كيف يرتبط ضغط البيانات بالذكاء الاصطناعي، وكيف تُحسّن الإنتروبيا المتقاطعة الأداء. يتضمن الدرس تطبيقات عملية وشرح مفاهيم مثل تقطير النماذج وتباعد كولباك-لايبلر.
Watch video — Andrej Karpathy