ABSeeker-ന്റെ പുതിയ “Answer-Backtracked Credit Assignment” (ABC) രീതിയിലൂടെ, ദീർഘകാലാടിസ്ഥാനത്തിലുള്ള സെർച്ച് ഏജന്റുകൾക്ക് (long-horizon search agents) അവസാന ഉത്തരം മാത്രം നോക്കാതെ ഓരോ ഘട്ടത്തിനും പ്രത്യേകം ക്രെഡിറ്റ് (credit) നൽകാൻ സാധിക്കുന്നു. ഇതിലൂടെ പരിശീലിപ്പിക്കപ്പെട്ട 4 ബില്യൺ പാരാമീറ്റർ മോഡൽ, ഇതിലും വലിയ മറ്റ് മോഡലുകളെപ്പോലും മറികടക്കാൻ പ്രാപ്തമാണ്.

ഈ മുന്നേറ്റം പ്രധാനമാകുന്നത് നിലവിലുള്ള മിക്ക ഏജന്റുകളും ഒരു ടാസ്ക് പൂർത്തിയാകുമ്പോൾ മാത്രം വിലയിരുത്തപ്പെടുന്നതുകൊണ്ടാണ്. അവസാന ഉത്തരം ശരിയാണെങ്കിൽ ആ പ്രക്രിയ മുഴുവൻ നല്ലതായും, തെറ്റാണെങ്കിൽ മുഴുവൻ പ്രക്രിയയും മോശമായും കണക്കാക്കപ്പെടുന്നു. ഈ 'അല്ലെങ്കിൽ അല്ലെങ്കിൽ' (all-or-nothing) രീതി യഥാർത്ഥ പഠന സൂചനകളെ (learning signals) മറച്ചുവെക്കുന്നു—ഉദാഹരണത്തിന്, ഒരു നല്ല നീക്കം തെറ്റായ ഒരു ഘട്ടത്തിന് പിന്നാലെ വന്നാൽ അത് മോശമായി കണക്കാക്കപ്പെടുന്നു, അല്ലെങ്കിൽ ഭാഗ്യം കൊണ്ട് ശരിയായ ഉത്തരത്തിൽ എത്തിച്ചേർന്ന ഉപയോഗശൂന്യമായ ക്ലിക്കുകൾ നല്ലതായി കണക്കാക്കപ്പെടുന്നു. ABSeeker-ന്റെ സമീപനം ഈ നിയമങ്ങളെ മാറ്റിയെഴുതുന്നു.

പഴയ രീതികൾ എവിടെയാണ് പരാജയപ്പെടുന്നത്

ഒരു ഏജന്റ് സെർച്ച് ചെയ്യുമ്പോഴോ, കോഡ് എഴുതുമ്പോഴോ, തെളിവുകൾ ശേഖരിക്കുമ്പോഴോ സാധാരണയായി നിരവധി പ്രവർത്തനങ്ങൾ ചെയ്യുന്നു: ക്വറികൾ (queries) നൽകുക, പേജുകൾ തുറക്കുക, കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുക, സിസ്റ്റം സ്റ്റേറ്റ് പരിശോധിക്കുക എന്നിങ്ങനെ. പതിനഞ്ച് ഘട്ടങ്ങളുള്ള ഒരു പ്രക്രിയയിൽ, മുൻപത്തെ ഘട്ടങ്ങൾ ശരിയാണെങ്കിൽ പോലും ഒരു ചെറിയ തെറ്റ് അവസാന ഉത്തരത്തെ പാടെ നശിപ്പിച്ചേക്കാം. നേരെമറിച്ച്, ശരിയായ ഉത്തരത്തിൽ അവസാനിക്കുന്ന ഒരു പ്രക്രിയയിൽ മിക്ക ഘട്ടങ്ങളും ഉപയോഗശൂന്യമായിരിക്കാം, അത് വെറും ഭാഗ്യം കൊണ്ട് സംഭവിച്ചതാകാം. അവസാന ഫലം മാത്രം അടിസ്ഥാനമാക്കി പരിശീലിപ്പിക്കുന്നത്, ആ പ്രക്രിയയെ മുഴുവൻ ഒരു 'ബ്ലാക്ക് ബോക്സ്' ആയി കാണാൻ മോഡലിനെ നിർബന്ധിക്കുന്നു, ഇത് ഏത് ഉപ-പ്രവർത്തനങ്ങളാണ് (sub-behaviors) യഥാർത്ഥത്തിൽ പ്രയോജനപ്രദമെന്ന് മനസ്സിലാക്കാൻ പ്രയാസമുണ്ടാക്കുന്നു.

സോഫ്റ്റ്‌വെയർ എൻജിനീയറിംഗിലെ ഡീബഗ്ഗിംഗിന്റെ (debugging) അവസ്ഥയുമാണിതിന് സാമ്യം. ഡെവലപ്പർമാർ ഓരോ വരിയും പരിശോധിക്കുകയും, പരാജയപ്പെടുന്ന ഭാഗം വേർതിരിച്ചെടുക്കുകയും അത് പരിഹരിക്കുകയും ചെയ്യുന്നു. എന്നാൽ ഏജന്റുകൾക്ക് അവരുടെ ആന്തരിക പ്രവർത്തനങ്ങളുടെ സമാനമായ ഒരു 'രസീത്' (receipt) നൽകിയിട്ടില്ല. ഈ ഓഡിറ്റ് ട്രയൽ (audit trail) ഇല്ലാതെ, ഒരു പുരോഗതി മെച്ചപ്പെട്ട യുക്തി (reasoning) മൂലമാണോ അതോ വെറും യാദൃശ്ചികതയാണോ എന്ന് ഡെവലപ്പർമാർക്ക് തിരിച്ചറിയാൻ കഴിയില്ല, കൂടാതെ മോശം ശീലങ്ങൾ വ്യവസ്ഥാപിതമായി തിരുത്താനും അവർക്ക് സാധിക്കില്ല.

ABC എങ്ങനെ ക്രെഡിറ്റ് അസൈൻമെന്റ് പുനഃക്രമീകരിക്കുന്നു

Answer-Backtracked Credit Assignment ശരിയായ അവസാന ഉത്തരത്തിൽ നിന്ന് പിന്നോട്ട് പ്രവർത്തിക്കുന്നു. ഉത്തരം ആശ്രയിച്ചിരിക്കുന്ന പ്രധാന സൂചനകൾ—പ്രത്യേക തെളിവുകൾ, ഇടക്കാല ഫലങ്ങൾ അല്ലെങ്കിൽ സ്റ്റേറ്റ് ചെക്കുകൾ—അത് ആദ്യം വേർതിരിച്ചെടുക്കുന്നു. തുടർന്ന്, രേഖപ്പെടുത്തിയ ട്രേസിലൂടെ (trace) പിന്നോട്ട് സഞ്ചരിച്ച്, ഓരോ പ്രവർത്തനത്തെയും ആ സൂചനകളുമായി താരതമ്യം ചെയ്ത് സ്കോർ ചെയ്യുന്നു. ആവശ്യമായ ഒരു സൂചനയ്ക്ക് നേരിട്ട് സംഭാവന നൽകുന്ന പ്രവർത്തനത്തിന് പോസിറ്റീവ് ക്രെഡിറ്റ് ലഭിക്കുന്നു; പ്രസക്തമല്ലാത്തതോ ദോഷകരമായതോ ആയ പ്രവർത്തനങ്ങൾക്ക് നെഗറ്റീവ് അല്ലെങ്കിൽ സീറോ സ്കോർ ലഭിക്കുന്നു.

ഈ സ്കോറിംഗിനെ അടിസ്ഥാനമാക്കി രണ്ട് പരിശീലന രീതികൾ (training regimes) ഉപയോഗിക്കുന്നു:

  • ABC-SFT (Supervised Fine-Tuning) ലോസ് ഫംഗ്ഷനെ (loss function) പുനർക്രമീകരിക്കുന്നു, അങ്ങനെ ഉയർന്ന ക്രെഡിറ്റ് ലഭിക്കുന്ന ഘട്ടങ്ങൾ മോഡലിനെ കൂടുതൽ ശക്തമായി സ്വാധീനിക്കുന്നു. ഉപയോഗപ്രദമായ സൂചനകളിലേക്ക് നയിച്ച പ്രവർത്തനങ്ങൾക്ക് മുൻഗണന നൽകാൻ മോഡൽ പഠിക്കുന്നു.
  • ABC-GRPO (Gradient-based Reward Policy Optimization) ഓരോ ഘട്ടത്തിലെയും സ്കോറുകളെ റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗിനായുള്ള (reinforcement learning) ഒരു റിവാർഡ് സിഗ്നലായി കണക്കാക്കുന്നു, ഇത് ഉത്തരത്തിലേക്ക് നയിച്ച സെർച്ചിന്റെ പ്രത്യേക ഭാഗങ്ങളെ ശക്തിപ്പെടുത്തുന്നു.

ഒരു ബൈനറി പാസ്/ഫെയിൽ (pass/fail) ലേബലിനെ സംഭാവനകളുടെ വിശദമായ മാപ്പായി മാറ്റുന്നതിലൂടെ, ABC മോഡലിന് വളരെ മികച്ച ഒരു പഠന സൂചന നൽകുന്നു.

ആദ്യകാല ഫലങ്ങൾ വലിയ മാറ്റങ്ങൾ സൂചിപ്പിക്കുന്നു

ഗവേഷകർ ABC രീതി ഒരു 4 ബില്യൺ പാരാമീറ്റർ മോഡലിൽ പരീക്ഷിച്ചു. സെർച്ച് സ്റ്റേറ്റ് നിരീക്ഷിക്കുന്ന ഒരു കോൺടെക്സ്റ്റ് മാനേജ്‌മെന്റ് ലെയർ (context-management layer) ഈ മോഡലിനുണ്ടായിരുന്നു. സാധാരണയായി വലിയ ഏജന്റുകൾക്ക് അനുകൂലമായ ബെഞ്ച്മാർക്ക് ടാസ്കുകളിൽ, ABC ഉപയോഗിച്ച് പരിശീലിപ്പിച്ച മോഡൽ വലിയ സിസ്റ്റങ്ങളെപ്പോലെയോ അവയെക്കാൾ മികച്ച രീതിയിലോ പ്രവർത്തിച്ചു. മോഡലിന്റെ വലിപ്പം കൂട്ടാതെ തന്നെ ഈ പ്രകടനം കൈവരിച്ചതിനാൽ, മികച്ച ക്രെഡിറ്റ് അസൈൻമെന്റ് മോഡലിന്റെ പാരാമീറ്റർ എണ്ണം വർദ്ധിപ്പിക്കുന്നതിന് പകരമായി ഉപയോഗിക്കാമെന്ന് ഇത് സൂചിപ്പിക്കുന്നു.

ഇതിലെ പ്രധാന പാഠം ലളിതമാണ്: എന്താണ് ശരിയായതെന്ന് മോഡലിന് വ്യക്തമായ ഒരു രസീത് നൽകുകയാണെങ്കിൽ, ഒരേ അളവ് പരിശീലന ഡാറ്റയിൽ നിന്ന് തന്നെ കൂടുതൽ മൂല്യം വേർതിരിച്ചെടുക്കാൻ അതിന് സാധിക്കും.

യഥാർത്ഥ ലോകത്തെ ഏജന്റുകൾക്ക് ഇതിന്റെ അർത്ഥമെന്താണ്

കോഡിംഗ് അസിസ്റ്റന്റുകൾ, ലിറ്ററേച്ചർ റിവ്യൂ ബോട്ടുകൾ, കസ്റ്റമർ സപ്പോർട്ട് ടൂളുകൾ എന്നിങ്ങനെ മൾട്ടി-സ്റ്റെപ്പ് ജോലികൾ ചെയ്യുന്ന ഏത് ഏജന്റും അതിന്റെ പ്രവർത്തനങ്ങളുടെ ഒരു ട്രേസിനെ (trace) ആശ്രയിച്ചിരിക്കുന്നു. ആ ട്രേസ് നിലനിർത്തുന്നതും വിലയിരുത്തുന്നതും വെറുമൊരു അധിക സൗകര്യമല്ല, മറിച്ച് ഫലപ്രദമായ പഠനത്തിന് അത് അത്യാവശ്യമാണെന്ന് ABC തെളിയിക്കുന്നു.

  • Coding agents പ്ലാൻ, ഓരോ കമാൻഡും, കോഡ് ശരിയാണെന്ന് ഉറപ്പാക്കുന്ന ടെസ്റ്റ് റിസൾട്ടുകൾ എന്നിവ രേഖപ്പെടുത്തേണ്ടതുണ്ട്.
  • Research agents അവർ അയച്ച ക്വറികൾ, തുറന്ന സ്രോതസ്സുകൾ (sources), ശേഖരിച്ച തെളിവുകൾ എന്നിവ സൂക്ഷിക്കേണ്ടതുണ്ട്.
  • Support agents ഒരു പരിഹാരത്തിലേക്ക് നയിച്ച ഓരോ സ്റ്റേറ്റ് ചെക്കും തീരുമാനങ്ങളും രേഖപ്പെടുത്തണം.

ഈ ട്രേസുകൾ ലഭ്യമാകുമ്പോൾ, ABC-ക്ക് കൃത്യമായി ക്രെഡിറ്റ് നൽകാൻ കഴിയും. ഇത് മോഡലിനെ നല്ല ശീലങ്ങൾ വളർത്താനും, കഴിവ് എന്ന് തെറ്റിദ്ധരിക്കാൻ സാധ്യതയുള്ള ഭാഗ്യപൂർവ്വമായ കുറുക്കവഴികൾ ഒഴിവാക്കാനും സഹായിക്കുന്നു.

എതിർവാദങ്ങളും പ്രായോഗിക തടസ്സങ്ങളും

ABC-യുടെ ഗുണങ്ങൾക്കൊപ്പം കൂടുതൽ സങ്കീർണ്ണതകളും വരുന്നുണ്ട്.

ചുരുക്കത്തിൽ

Answer-Backtracked Credit Assignment ഏജന്റുകളെ എങ്ങനെ തിരയാനും, കോഡ് ചെയ്യാനും, യുക്തിസഹമായി ചിന്തിക്കാനും പഠിപ്പിക്കുന്നു എന്ന രീതിയെ പാടെ മാറ്റിമറിക്കുന്നു. അന്തിമ ലക്ഷ്യത്തിന് മാത്രം പ്രതിഫലം നൽകുന്നതിന് പകരം, വഴിയിലുടനീളമുള്ള ശരിയായ ചുവടുവെപ്പുകൾക്ക് പ്രതിഫലം നൽകുന്നതിലൂടെ, മിതമായ വലിപ്പമുള്ള ഒരു മോഡലിന് പോലും വളരെ വലിയ മോഡലുകളെപ്പോലെ ഫലപ്രദമായി പഠിക്കാൻ ഇതിലൂടെ സാധിക്കുന്നു. ഒന്നിലധികം ഘട്ടങ്ങളുള്ള ജോലികൾ ചെയ്യേണ്ട ഏജന്റുകളെ നിർമ്മിക്കുന്നവർക്ക്, ഒരു trace-centric training രീതി സ്വീകരിക്കുക എന്നത് ഒരു ഓപ്ഷൻ മാത്രമല്ല—അത് വിശ്വസനീയവും, പരിശോധിക്കാവുന്നതും, ഒടുവിൽ കൂടുതൽ ബുദ്ധിയുള്ളതുമായ AI എന്നതിലേക്കുള്ള പാതയാണ്.