GPT-5.6-SOL השלים שלוש משימות רב-שלביות במתמטיקה, פיזיקה וקוד, בעוד ש-Kimi K3 נגמר לו תקציב הטוקנים ופג תוקפו (timed out) על אותן הנחיות, מה שחושף מגבלה מעשית עבור מפתחים הזקוקים לתשובות אמינות מקצה לקצה.

למה המבחן הזה חשוב

שני המודלים קיבלו הנחיות זהות תחת אותה מגבלת טוקנים, ללא הפעלת כלי חיפוש באינטרנט. המבחן התמקד בהסקה רב-שלבית (multi-step reasoning) – צורך נפוץ בחישובים מדעיים וביצירת קוד. בסביבת ייצור (production), מודל שגוזל את כל הקצאת הטוקנים שלו לפני שהוא מספק תוצאה סופית עלול לעצור תהליכי עבודה (pipelines) ולהוסיף עבודה של ניפוי שגיאות (debugging).

מה קרה במפגש הישיר

GPT-5.6-SOL

  • סיפק תשובה מלאה לכל אחת משלוש המשימות.
  • סיפק גזירות מתמטיות ופיזיקליות נכונות.
  • יצר סקריפט Python שהתקמפל ורץ על מפרש (interpreter) מקומי.
  • החסיר מקרה בדיקה (test case) בפלט הדוגמה, אך הלוגיקה המרכזית נותרה תקינה.

Kimi K3

  • נכשל בהחזרת פתרון גלוי עבור בעיות המתמטיקה והפיזיקה.
  • הגיע למגבלת הטוקנים שוב ושוב, מה שגרם לקטיעת ההסקה שלו לפני שהצליח להגיע למסקנה.
  • נעצר לאחר 245 שניות במשימת התכנות, מבלי לספק קוד שניתן להרצה.

תובנות מרכזיות למשתמשים

  • טוקנים של הסקה לעומת פלט סופי – Kimi K3 צורך חלק גדול מתקציב הטוקנים שלו על שרשראות מחשבה פנימיות. כאשר התקציב קבוע, המודל לעיתים קרובות נגמר לו המקום לפני שהוא יכול להפיק את התשובה, מה שהופך אותו ללא מתאים לתהליכי עבודה הזקוקים לתוצאה מיידית.
  • לוגיקה לעומת בדיקה – אפילו מודל שמבצע הסקה נכונה עלול להחמיץ פרטים משניים. מקרה הבדיקה השגוי של GPT-5.6-SOL מזכיר לנו לבדוק ידנית קוד אימות (validation code) שנוצר.
  • זמן תגובה (latency) וסיבות סיום הן קריטיות – תהליכי ייצור (production pipelines) צריכים לתעד לא רק את התשובה הסופית, אלא גם את הסיבה שבגללה המודל עצר (מגבלת טוקנים, פקיעת זמן וכו') וכמה טוקנים הוא השקיע בהסקה.

מה לעקוב בהמשך

עד ששינויים כאלה יופיעו, מפתחים הזקוקים לתוצאות אמינות מקצה לקצה יעדיפו ככל הנראה מודלים כמו GPT-5.6-SOL למשימות הכוללות חישובים משורשרים או סינתזה של קוד.

עבור צוותים שבונים מערכות אוטומטיות, המבחן מדגיש כלל פשוט: בדקו הן את נכונות התשובה והן את יכולתו של המודל להגיע לאותה תשובה במסגרת המגבלות התפעוליות שאתם מציבים. מודל ש"חושב" אך לעולם לא מסיים הוא לא יותר ממבוי סתום.