GPT-5.6-SOL ने गणित, भौतिकशास्त्र आणि कोडिंगची तीन बहु-स्तरीय (multi-step) कामे पूर्ण केली, तर Kimi K3 त्याच प्रॉम्प्ट्सवर टोकन बजेट संपल्यामुळे आणि टाइमआउट झाल्यामुळे अपयशी ठरली; यामुळे विश्वसनीय आणि एंड-टू-एंड (end-to-end) उत्तरे हव्या असलेल्या डेव्हलपर्ससाठी एक व्यावहारिक मर्यादा समोर आली आहे.

ही चाचणी का महत्त्वाची आहे

दोन्ही मॉडेल्सना समान टोकन मर्यादेखाली (token ceiling) एकसारखेच प्रॉम्प्ट्स देण्यात आले होते आणि इंटरनेट-सर्च टूल्स सुरू नव्हते. ही बेंचमार्क चाचणी 'मल्टी-स्टेप रिझनिंग'वर (बहु-स्तरीय तर्कक्षमता) लक्ष केंद्रित करत होती—जी वैज्ञानिक गणना आणि कोड जनरेशनमध्ये अत्यंत आवश्यक असते. प्रत्यक्ष वापरामध्ये (production), जर एखादे मॉडेल अंतिम निकाल देण्यापूर्वीच आपले टोकन वाटप संपवत असेल, तर त्यामुळे वर्कफ्लो (pipelines) थांबू शकतात आणि डीबगिंगचे काम वाढू शकते.

थेट स्पर्धेत काय घडले

GPT-5.6-SOL

  • तिन्ही आव्हानांसाठी पूर्ण उत्तर दिले.
  • गणित आणि भौतिकशास्त्रातील अचूक व्युत्पन्न (derivations) दिले.
  • एक Python स्क्रिप्ट तयार केली जी लोकल इंटरप्रिटरवर कंपाईल आणि रन झाली.
  • उदाहरणात्मक आउटपुटमध्ये एक टेस्ट केस सुटली होती, परंतु मूळ लॉजिक अचूक होते.

Kimi K3

  • गणित आणि भौतिकशास्त्राच्या समस्यांसाठी दृश्य समाधान (visible solution) देण्यास अपयशी ठरले.
  • वारंवार टोकन मर्यादेपर्यंत पोहोचल्यामुळे, निष्कर्ष येण्यापूर्वीच त्याची तर्कक्षमता (reasoning) अर्धवट राहिली.
  • प्रोग्रामिंग टास्कमध्ये २४५ सेकंदांनंतर थांबले आणि कोणतेही रन करण्यायोग्य कोड दिले नाही.

व्यावसायिकांसाठी महत्त्वाचे निष्कर्ष

  • रिझनिंग टोकन्स विरुद्ध अंतिम आउटपुट – Kimi K3 त्याच्या टोकन बजेटचा मोठा भाग अंतर्गत विचार प्रक्रियेवर (internal thought chains) खर्च करते. जेव्हा बजेट निश्चित असते, तेव्हा मॉडेल उत्तर देण्यापूर्वीच अनेकदा जागा संपवते, ज्यामुळे त्वरित निकालाची गरज असलेल्या वर्कफ्लोसाठी ते अयोग्य ठरते.
  • लॉजिक विरुद्ध टेस्टिंग – तर्कक्षमता योग्य असणारे मॉडेल देखील दुय्यम तपशीलांमध्ये चूक करू शकते. GPT-5.6-SOL च्या चुकीच्या टेस्ट केसमुळे आपल्याला तयार केलेल्या व्हॅलिडेशन कोडची मॅन्युअली तपासणी करण्याची आठवण करून दिली जाते.
  • लॅटन्सी (Latency) आणि थांबण्याचे कारण महत्त्वाचे आहे – प्रोडक्शन पाइपलाईन्समध्ये केवळ अंतिम उत्तरच नाही, तर मॉडेल का थांबले (टोकन मर्यादा, टाइमआउट इ.) आणि तर्क करण्यासाठी किती टोकन्स खर्च झाले, याची नोंद (log) ठेवली पाहिजे.

पुढे काय पाहावे

जोपर्यंत असे बदल दिसून येत नाहीत, तोपर्यंत ज्या डेव्हलपर्सना विश्वसनीय एंड-टू-एंड निकाल हवे आहेत, ते साखळी स्वरूपातील गणना (chained calculations) किंवा कोड सिंथेसिसमध्ये गुंतलेल्या कामांसाठी GPT-5.6-SOL सारख्या मॉडेल्सना पसंती देतील.

ऑटोमेटेड सिस्टम्स तयार करणाऱ्या टीम्ससाठी, ही बेंचमार्क एक साधा नियम अधोरेखित करते: उत्तराची अचूकता आणि तुम्ही ठरवलेल्या कार्यात्मक मर्यादांच्या (operational constraints) आत ते उत्तर देण्याची मॉडेलची क्षमता, या दोन्ही गोष्टींची चाचणी घ्या. जे मॉडेल "विचार" करते पण कधीच पूर्ण करत नाही, ते एका मृत टोकापेक्षा (dead end) जास्त काही नाही.