أعلنت إنفيديا عن إصدار نسخة تجريبية عامة من TensorRT Model Connect، وهو مشروع مفتوح المصدر يتيح تحويل نماذج Hugging Face أو نماذج محلية مدعومة إلى استدلال TensorRT كامل الأداء بأمرين فقط، دون الحاجة لمرحلة تصدير ONNX وسيطة.

ينتج عن العملية ملف .bundle مرقّم يعمل عبر واجهات برمجية C++ أصلية، مما يسمح بتنفيذ الاستدلال في خدمة C++، أو تطبيق مضمّن، أو منصات الروبوتات، دون الاعتماد على PyTorch في بيئة التشغيل. المشروع مرخص بموجب Apache-2.0 ويتضمن مجموعة من التطبيقات المرجعية المملوكة لعائلات نماذج مختلفة بدلاً من محول عام واحد. تجدر الإشارة إلى أن إنفيديا بنت المشروع بأكمله—تطبيقات النماذج، وضبط الأداء، والاختبارات، والتكاملات، والتوثيق—باستخدام وكلاء OpenAI Codex تحت الإشراف والمراجعة البشرية.

تتضمن الإصدارات الحالية عجلات تستهدف معمارية Linux aarch64 فقط، مع Python 3.10 أو 3.12، و glibc 2.39 أو أحدث، و TensorRT 11.1.0.106. لم يتم نشر عجلات x86_64؛ يتعين على مستخدمي x86_64 اتباع مسار البناء من المصدر عبر Docker.

تفصل الأداة بين مرحلة البناء والتشغيل من خلال ملف bundle مرقّم. يتولى Python تحديد موقع نقطة تفتيش النموذج وبناء محرك TensorRT، بينما تنفذ الملفات الشخصية الأصلية الاستدلال في C++ دون PyTorch. عدد قليل من الملفات الشخصية الهجينة يستدعي ملف تنفيذ Python مساعد، مع التصريح الواضح بهذا الاعتماد.

توفر الأداة واجهات برمجية موحدة للمهام—generate()، و transcribe()، و generate_image()، و embed()، و solve()—بدلاً من الحفاظ على مراحل تحويل متعددة وكود تكامل خاص بكل نموذج. تعرّض أداة trtmc inspect نوع الحزمة، وعائلة النموذج، والدقة، وهوية التشغيل، والمحركات، مما يجعل الملف قابلاً للتدقيق بدلاً من أن يكون معتماً.