كشفت شركة Liquid AI عن منصة Pipette، وهي أداة مفتوحة المصدر متخصصة في قياس أداء نماذج الذكاء الاصطناعي على الأجهزة الطرفية. طورت الشركة المنصة بالتعاون مع Artificial Analysis، التي عملت كمدقق مستقل للمنهجية المستخدمة.

تختلف Pipette عن أدوات القياس التقليدية بمعالجتها الأداء كخاصية للنظام المطبق بأكمله وليس النموذج منفصلاً. وحدة القياس في المنصة تضم أربعة عناصر: النموذج والكمية والبيئة التنفيذية والجهاز. أطلقت المنصة مع مجموعة بيانات تغطي أكثر من ألف تكوين مختلف، شاملة 30 نموذجاً فأكثر وعدة صيغ للكمية وإصدارات llama.cpp لأنظمة تشغيل متعددة بما فيها macOS و iOS و Windows و Android، مع أطوال سياق تتراوح بين 256 و8192 رمز.

تضمنت النتائج الأولى أجهزة من فئات مختلفة: MacBook Pro مزود بمعالج M5 Max وهاتف iPhone 17 Pro وجهاز Galaxy S26 Ultra. وأظهرت البيانات الفعلية الفرق الجوهري بين النماذج: نموذجان بحجم 350 مليون معامل بنفس الكمية على الهاتف نفسه احتفظا بـ 78.4% و 33.8% من معدل المعالجة عند طول السياق 4096 رمز.

أتاحت Liquid AI المنصة كبنية تحتية مفتوحة المصدر تحت رخصة Apache 2.0، مع مجموعة بيانات علنية وحزمة قياس محمية وتطبيقات قياس محلية لنظامي iOS و Android. تتبع المنصة منهجية منشورة للقياس تتضمن أشكال رموز ثابتة وفك تشفير جشع وخمس تكرارات مقيسة مع عمليات تحقق من الظروف الحرارية والحمل قبل كل قياس.

تُتبع درجات الجودة بشكل منفصل على معايير IFBench و GPQA Diamond و MATH-500، وتأتي النتائج الحالية من عمليات تقييم llama.cpp على أنظمة مرجعية NVIDIA H100 بـ 80GB، ثم تُطابق مع عمليات التشغيل على الأجهزة الذكية التي تشارك النموذج والكمية نفسيهما.