أظهرت تجارب هندسية أن تحسين معمارية النظام الأساسي للوكيل الذكي يؤثر بقدر أكبر من اختيار النموذج نفسه. دراسة مفتوحة المصدر بعنوان "بناء وكيل برمجي من الصفر" من إعداد بول يوستين، ونشرتها منصة Decoding AI، تفكك هذه المعمارية إلى ثلاثة أنماط تشغيل متميزة.

تدور معمارية النظام حول حلقة أساسية خالية من الواجهة الخاصة بها. يختار نموذج لغوي الإجراء التالي، تنفذه أداة، تعود الملاحظة للسياق. النواة صغيرة جداً: تعريف بحوالي عشرين سطر يجمع النموذج والأدوات ونوع المخرجات. كل شيء آخر من ذاكرة ومهارات وأذونات وانضغاط فهو جزء من المعمارية.

النمط الأول تفاعلي حي: واجهة طرفية متصلة بجلسة واحدة مباشرة، تعمل في الذاكرة، والأحداث تتدفق عبر مولدات غير متزامنة. التحدي الرئيسي هو التوجيه: إذا حاول المستخدم إدخال أمر أثناء تنفيذ استدعاء أداة، قد تفسد البيانات. الحل يعتمد طابور توجيه وبوابة أولويات تحقن الإدخال فقط عند نقاط آمنة. هذا النمط يتطلب واجهة برمجة تطبيقات منخفضة الكمون لأن بشراً ينتظرون الاستجابة.

النمط الثاني عن بعد وغير متزامن: يحافظ على خادم مركزي يدير عدة وكلاء بالتوازي، كل منها ينتج مخرجاته الخاصة. لا أحد يراقب كل خطوة. لأن النظام يسجل التقدم خطوة بخطوة، إذا انهار الرمل في المنتصف استأنف من آخر نقطة مسجلة. المقياس الذي يهم هنا هو الإنتاجية لكل دولار، لا سرعة الاستجابة الأولى.

النمط الثالث وسيط بينهما: جلسة حية ترسل العمل لقائمة انتظار وتعود فوراً، والعمليات الخلفية تنشر استدعاءات اللغة وترسل النتائج لاحقاً. المستخدم متصل لكن لا يراقب كل خطوة. هذا النمط يحاسب كأنه معالجة دفعية وليس محادثة حية.

الفارق الاقتصادي بين الأنماط حاد. معالجة ألف مستند بثلاثين ألف رمز إدخال وخمسمائة رمز إخراج بأسعار الواجهات الرائدة تكلف نحو سبعة وتسعين دولاراً. لكن نفس العمل على وحدة معالجة رسوميات بدون خادم في ثلاث ساعات لا يتجاوز ثلاثة عشر دولاراً. بالمقابل، ترك وكيل تفاعلي عاطلاً طول الليل بانتظار تأكيد يضيف خمسة وأربعين دولاراً إلى الفاتورة.

حسابياً، العمل التفاعلي يُفوتّر برمز لأن بشراً ينتظرون، بينما العمل غير المتزامن يُفوتّر بساعة معالجة لأن الإنتاجية هي الهدف. الاختيار بين السعة المحجوزة والخوادم بدون خادم يعتمد نسبة الذروة إلى المتوسط: عندما تتجاوز النسبة خصم الحجز، تصبح الخوادم بدون خادم أرخص.