GLM-5.3 "thinking: disabled" ફ્લેગ દૂર કરે છે, તેથી જે કોઈપણ ઇન્ટિગ્રેશન {"thinking":{"type":"disabled"}} મોકલતું હતું, તે હવે પ્રતિસાદ (response) ને બદલે ભૂલ (error) આપશે. આ ફેરફારે રાતોરાત ડઝનબંધ ટેસ્ટ સૂટ્સ બગાડી નાખ્યા છે અને ડેવલપર્સને તેમના એપ્લિકેશન્સ ચાલુ રાખવા માટે કોડની માત્ર એક લાઇન ફરીથી લખવા માટે મજબૂર કર્યા છે.

આ ફેરફાર શા માટે મહત્વનો છે

GLM-5.2 માં, API સામાન્ય પ્રોમ્પ્ટ્સ માટે કોલર્સને 'thinking mode' બંધ કરવાની મંજૂરી આપતું હતું. તે વિકલ્પ ઓટોમેશન સ્ક્રિપ્ટ્સ, બેચ-પ્રોસેસિંગ પાઇપલાઇન્સ અને લો-લેટન્સી બોટ્સમાં એક સામાન્ય પદ્ધતિ હતી. GLM-5.3 એ આ ફ્લેગને સંપૂર્ણપણે દૂર કરી દીધો છે અને ત્રણ એફર્ટ લેવલ (effort levels)—low, high અને max—પરિચય કરાવ્યા છે, જેમાં max ડિફોલ્ટ છે. નવું મોડેલ હંમેશા રીઝનિંગ ટ્રેસ (reasoning trace) જનરેટ કરે છે; તેને હવે સંપૂર્ણપણે બંધ કરી શકાતું નથી.

શું બગડ્યું અને તે કેવી રીતે ફેલાય છે

જ્યારે રિક્વેસ્ટ બોડીમાં "type":"disabled" હોય છે, ત્યારે સર્વર પેલોડને નકારી દે છે અને એક સામાન્ય નિષ્ફળતાનો પ્રતિસાદ (generic failure response) આપે છે. કોઈ ઓથેન્ટિકેશન અથવા સિન્ટેક્સ એરર દેખાતી નથી, તેથી જ્યાં સુધી સંપૂર્ણ રિગ્રેસન રન (regression run) નિષ્ફળ ન જાય ત્યાં સુધી સમસ્યા શોધવી મુશ્કેલ હોઈ શકે છે. કારણ કે ઘણા કોડબેઝમાં આ ફ્લેગ એક સિંગલ, રીયુઝેબલ હેલ્પર ફંક્શનમાં હતો, તેથી તેની અસર મોટા ટેસ્ટ સૂટ્સ અને પ્રોડક્શન એન્ડપોઇન્ટ્સ બંનેમાં જોવા મળી.

ચોક્કસ કોડ ફેરફાર

જૂનો પેલોડ બદલો:

extra_body = {"thinking": {"type": "disabled"}}

GLM-5.3-સુસંગત વર્ઝન સાથે:

extra_body = {"thinking": {"type": "enabled", "effort": "low"}}

"type":"enabled" કી રીઝનિંગ એન્જિનને ફરીથી સક્રિય કરે છે, જ્યારે "effort":"low" નવું મોડેલ જેટલી શક્યતા હોય તેટલી જૂના ડિસેબલ્ડ મોડની ઝડપની નકલ કરે છે.

પર્ફોર્મન્સ પરની અસરો

લો-એફર્ટ સેટિંગ સાથે સમાન કોડ-રિવ્યુ પ્રોમ્પ્ટ્સ ચલાવવાથી પરિણામો "જૂની ઝડતની નજીક" મળે છે પરંતુ તે સમાન નથી હોતા. મોડેલ હજુ પણ રીઝનિંગ ટ્રેસ આપે છે, જે થોડા વધારાના ટોકન્સ અને થોડો લેટન્સી વધારો (latency bump) કરે છે. હાઈ-થ્રુપુટ અથવા લેટન્સી-ક્રિટિકલ વર્કલોડ્સમાં, ઓવરહેડ સ્વીકાર્ય છે કે નહીં તે ચકાસવા માટે તમારે તમારા પોતાના ડેટાનું બેન્ચમાર્કિંગ કરવું જોઈએ.

ખર્ચ હોવા છતાં શા માટે માઈગ્રેટ કરવું

GLM-5.3 તેના પૂર્વવર્તીની 744-બિલિયન-પેરામીટર આર્કિટેક્ચર જાળવી રાખે છે પરંતુ કોડિંગ અને એજન્ટિક કાર્યો પર ફરીથી ધ્યાન કેન્દ્રિત કરે છે. સ્વતંત્ર બેન્ચમાર્ક (Terminal-Bench 3.0) સ્કોરમાં નોંધપાત્ર વધારો દર્શાવે છે, અને આંતરિક પરીક્ષણોએ મલ્ટીપલ ફાઇલોમાં લોજિકલ એરર્સના વધુ સારા ડિટેક્શનની જાણ કરી છે. જે ટીમો જટિલ કોડ એનાલિસિસ માટે મોડેલ પર આધાર રાખે છે, તેમના માટે પર્ફોર્મન્સમાં થતો ફાયદો ટોકન વપરાશમાં થતા નાના વધારા કરતા વધુ હોઈ શકે છે.

તમે અવગણી ન શકો તેવો ટ્રેડ-ઓફ

જો કોઈ એપ્લિકેશનને ખરેખર ઝીરો-થિંકિંગ પ્રતિસાદોની જરૂર હોય—દા.ત., પ્યોર ટોકન-કમ્પ્લીશન સર્વિસ—તો હવે GLM-5.3 માં તેની કોઈ નેટિવ વિકલ્પ નથી. ડેવલપર્સે કાં તો વધારાનું રીઝનિંગ આઉટપુટ સ્વીકારવું પડશે અથવા બીજા કોઈ મોડેલ પર સ્વિચ કરવું પડશે જે હજુ પણ ડિસેબલ્ડ મોડ ઓફર કરે છે.

આગળ શું ધ્યાન રાખવું

  • લેટન્સી મોનિટરિંગ: પેલોડ ફેરફાર પછી, રિગ્રેસન્સને વહેલી તકે ઓળખવા માટે પ્રતિસાદ સમય અને ટોકન કાઉન્ટ પર નજર રાખો.
  • એફર્ટ ટ્યુનિંગ: કેટલાક વર્કલોડ્સમાં પૂરા પેનલ્ટી વગર "high" એફર્ટથી ફાયદો થઈ શકે છે, તેથી લો સેટિંગથી આગળ પ્રયોગો કરો.
  • ભવિષ્યના ડિપ્રિકેશન્સ: એક સિંગલ ફ્લેગ દૂર થવાથી સૂચવે છે કે API માં વધુ એકત્રીકરણ (consolidations) થઈ શકે છે; આગામી રિલીઝ નોટ્સ પર નજર રાખો.

નિષ્કર્ષ: thinking પેલોડને {"type":"enabled","effort":"low"} માં અપડેટ કરવાથી GLM-5.3 સાથે સુસંગતતા પુનઃસ્થાપિત થાય છે. તમારી પાઇપલાઇન્સમાં લેટન્સી અને ટોકન વપરાશ ચકાસો, અને નક્કી કરો કે સુધારેલી કોડિંગ ક્ષમતાઓ અનિવાર્ય રીઝનિંગ ટ્રેસને યોગ્ય ઠેરવે છે કે નહીં.

ચર્ચા અને કોમ્યુનિટી સપોર્ટ GyaanSetu AI ટેલિગ્રામ ચેનલ પર ઉપલબ્ધ છે.