أدوات الاختبار الخاصة بك ستكذب عليك قبل أن يكذب نموذجك

أظهرت لوحة نتائج التقييم الخاصة بك أن كلا المحركين قد فشلا.

فشل Llama3.2 في 5 من أصل 6 حالات. فشل Anthropic Sonnet في 6 من أصل 6 حالات.

كان التصنيف هو "تنسيق غير صالح" (malformed). لكن الأسباب كانت مختلفة.

أحد حالات الفشل كانت خطأ في واجهة برمجة التطبيقات (API) بسبب نفاد الرصيد. إحدى حالات الفشل كانت بسبب بايتات التحكم في الطرفية (terminal control bytes) الناتجة عن أمر CLI أدت إلى إفساد النص. إحدى حالات الفشل كانت عبارة عن JSON صالح محاط بأسوار markdown لم يتمكن المحلل (parser) من قراءتها.

لو نشرت ذلك الملخص الأول، لكنت قد كذبت. لكنت قد ألقيت باللوم على النماذج بسبب إخفاقات في الكود الخاص بي.

لقد اكتشفت هذه الأخطاء من خلال النظر في السجلات الخام بدلاً من الثقة في الملخص.

حدث الخطأ الأول لأنني استخدمت عملية فرعية عبر CLI لاستدعاء Ollama. أنتج الأمر رسومًا متحركة في الطرفية مثل مؤشرات التحميل (spinners) وحركات المؤشر. هذه البايتات الخاصة بـ ANSI control bytes دخلت في بياناتي. رأى المحلل (parser) أحرفًا غير مرئية وتوقف عن العمل.

الحل: الانتقال من عملية فرعية عبر CLI إلى واجهة برمجة تطبيقات HTTP مباشرة.

حدث الخطأ الثاني لأن النماذج اللغوية الكبيرة (LLMs) غالبًا ما تضع JSON داخل أسوار markdown. استخدم المحلل الخاص بي json.loads() على السلسلة النصية الخام، فرأى علامات الاقتباس المائلة (backticks) وفشل.

الحل: إضافة دالة لإزالة أسوار الكود قبل عملية التحليل.

بمجرد إصلاح مسار البيانات، ظهرت النتائج الحقيقية.

لم تكن النماذج "ميتة". بل كانت مجرد بيانات مشوهة بسبب أدوات الاختبار. بعد الإصلاح، أصبح الفارق في الجودة بين النموذجين مرئيًا وقابلًا للقياس.

دروس لمسار تقييم الذكاء الاصطناعي الخاص بك:

  • احتفظ بالمخرجات الخام. إذا قال الملخص إن التنسيق غير صالح، فإن المخرجات الخام هي مصدر الحقيقة الوحيد لك.
  • سجل سبب الفشل. لا تكتفِ بقول "تنسيق غير صالح". بل قل "خطأ في API" أو "خطأ في التحليل".
  • ثبّت معايير الاختبار الخاصة بك. لا تغير قواعدك لجعل النتائج تبدو أفضل.
  • تعامل مع أدوات الاختبار كجزء من النظام قيد الاختبار.

النموذج ليس الشيء الوحيد الذي يخضع للاختبار، بل الكود الخاص بك أيضًا.

المصدر: https://dev.to/kenielzep97/your-harness-will-lie-to-you-before-your-model-does-662

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi