يمكن للمستخدمين الآن تشغيل نماذج اللغة الكبرى المستخدمة في تطبيقات مثل ChatGPT وGemini على أجهزتهم الشخصية، بدلاً من الاعتماد على الخوادم السحابية. يوفر هذا الأسلوب مزايا عديدة منها الحفاظ على البيانات محليًا وعدم الحاجة لدفع رسوم اشتراك شهرية، حيث توفر شركات كبرى مثل Meta وGoogle نماذج مفتوحة التحميل بالمجان.

على الرغم من أن النماذج المحلية قد تكون أقل تطورًا من نظيراتها في التطبيقات المدفوعة، إلا أنها تتمتع بكفاءة كافية للاستخدام اليومي، وتتطلب قدرًا أكبر من الصيانة والتحديثات اليدوية من قبل المستخدم. تدعم أنظمة التشغيل الرئيسية مثل Windows وmacOS وLinux تشغيل هذه النماذج، لكن macOS يُعتبر المنصة المفضلة لدى معظم المتحمسين، خاصة بسبب توافق معالجات Apple Silicon.

تتطلب تشغيل النماذج المحلية موارد حاسوبية محددة: الحد الأدنى هو 8 جيجابايت ذاكرة عشوائية، مع الإشارة إلى أن 16 جيجابايت أفضل، و32 جيجابايت أو أكثر ضروري للنماذج الأكبر والأسرع. يُنصح أيضًا بوجود بطاقة رسوميات منفصلة بذاكرة 8 جيجابايت فأكثر، خاصة بطاقات NVIDIA على أنظمة Windows، لأن معالجات الرسوميات تتفوق على المعالجات العادية في تنفيذ مهام الذكاء الاصطناعي.

يحتاج المستخدم إلى برنامج لتشغيل النموذج وإدارته. يُعتبر تطبيق LM Studio Bionic الخيار الأفضل للمبتدئين على Windows وmacOS، وهو مجاني الاستخدام. هناك خيارات أخرى موثوقة مثل vLLM وLlama.cpp وOllama وGPT4All، وإن كانت أكثر تعقيدًا تقنيًا.

يمكن اختيار النموذج المطلوب من مستودعات نماذج مختلفة، أشهرها منصة Hugging Face التي توفر أكثر من 3 ملايين نموذج. بعد تثبيت البرنامج والاختيار من النماذج المتاحة، يعمل الواجهة بطريقة مشابهة لتطبيقات الذكاء الاصطناعي العادية، مع خيارات لإدارة المشاريع والملفات والإعدادات المتقدمة.