آپ کا ہارس (Harness) آپ کے ماڈل سے پہلے آپ سے جھوٹ بولے گا۔

آپ کے ایویلیوایشن اسکور بورڈ نے بتایا کہ دونوں انجن فیل ہو گئے۔

Llama3.2 6 میں سے 5 کیسز میں فیل ہوا۔ Anthropic Sonnet 6 میں سے 6 کیسز میں فیل ہوا۔

لیبل "malformed" تھا۔ لیکن وجوہات مختلف تھیں۔

ایک ناکامی API کی غلطی تھی کیونکہ کریڈٹس ختم ہو گئے تھے۔ ایک ناکامی CLI کمانڈ کے ٹرمینل کنٹرول بائٹس (terminal control bytes) کی وجہ سے تھی جس نے ٹیکسٹ کو خراب کر دیا تھا۔ ایک ناکامی درست JSON تھی جو markdown fences میں لپٹی ہوئی تھی جسے پارسر (parser) پڑھ نہیں سکا۔

اگر میں وہ پہلی سمری شائع کرتا، تو میں جھوٹ بول رہا ہوتا۔ میں اپنے کوڈ کی ناکامیوں کے لیے ماڈلز کو قصوروار ٹھہراتا۔

میں نے سمری پر بھروسہ کرنے کے بجائے خام (raw) ریکارڈز کو دیکھ کر یہ بگ (bugs) تلاش کیے۔

پہلا بگ اس لیے ہوا کیونکہ میں نے Ollama کو کال کرنے کے لیے CLI subprocess کا استعمال کیا تھا۔ اس کمانڈ نے اسپنرز (spinners) اور کرسر کی حرکت جیسی ٹرمینل اینیمیشنز پیدا کیں۔ یہ ANSI کنٹرول بائٹس میرے ڈیٹا میں شامل ہو گئے۔ پارسر نے ان نظر نہ آنے والے حروف کو دیکھا اور کریش ہو گیا۔

حل: CLI subprocess کے بجائے براہ راست HTTP API کا استعمال کریں۔

دوسرا بگ اس لیے ہوا کیونکہ LLMs اکثر JSON کو markdown fences میں لپیٹ دیتے ہیں۔ میرا پارسر خام اسٹرنگ پر json.loads() استعمال کر رہا تھا۔ اس نے بیک ٹِکس (backticks) دیکھے اور فیل ہو گیا۔

حل: پارسنگ سے پہلے کوڈ فینسز (code fences) کو ہٹانے کے لیے ایک فنکشن شامل کریں۔

جب میں نے پائپ لائن ٹھیک کر لی، تو اصل نتائج سامنے آئے۔

ماڈلز "مردہ" نہیں تھے۔ وہ صرف ہارس (harness) کی وجہ سے خراب ہو رہے تھے۔ ٹھیک کرنے کے بعد، دونوں ماڈلز کے معیار کے درمیان فرق واضح اور قابلِ پیمائش ہو گیا۔

آپ کے AI ایویلیوایشن پائپ لائن کے لیے اسباق:

  • خام آؤٹ پٹ (raw output) کو محفوظ رکھیں۔ اگر سمری "malformed" کہتی ہے، تو خام آؤٹ پٹ ہی آپ کی حقیقت کا واحد ذریعہ ہے۔
  • ناکامی کی وجہ ریکارڈ کریں۔ صرف "malformed" نہ کہیں۔ بلکہ "API error" یا "parse error" کہیں۔
  • اپنے ٹیسٹنگ معیار کو مستقل (freeze) رکھیں۔ نتائج کو بہتر دکھانے کے لیے اپنے قواعد تبدیل نہ کریں۔
  • ہارس (harness) کو ٹیسٹ کیے جانے والے سسٹم کے ایک حصے کے طور پر سمجھیں۔

صرف ماڈل ہی آزمائش کے مرحلے میں نہیں ہے۔ آپ کا کوڈ بھی۔

Source: https://dev.to/kenielzep97/your-harness-will-lie-to-you-before-your-model-does-662

Optional learning community: https://t.me/GyaanSetuAi