പാൻഡോറയുടെ AI മോഡൽ റൂട്ടിംഗ് ബോക്സ്
ടാസ്ക് പെർഫോമൻസിൽ മാറ്റം വരുത്താതെ തന്നെ റൂട്ടിംഗ് ഓവർഹെഡ് (routing overhead) 70% വരെ കുറയ്ക്കുന്ന ഒരു “Pandora’s Box” ഫ്രെയിംവർക്ക് DeepMind-ന്റെ പുതിയ പേപ്പർ നിർദ്ദേശിക്കുന്നു.
റൂട്ടിംഗ് ചെലവുകൾ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
ഒരു സർവീസ് ഒരു റിക്വസ്റ്റ് ലഭിക്കുമ്പോൾ, പലപ്പോഴും അതിൽ വിവിധ മോഡലുകളുടെ ഒരു പട്ടിക ഉണ്ടാകും—ചിലത് വേഗതയേറിയതും എന്നാൽ കൃത്യത കുറഞ്ഞതുമായിരിക്കും, മറ്റു ചിലത് സാവധാനത്തിലാണെങ്കിലും കൃത്യതയുള്ളവയുമായിരിക്കും. ഇതിൽ ഏറ്റവും അനുയോജ്യമായത് തിരഞ്ഞെടുക്കുന്നത് കമ്പ്യൂട്ടിംഗ് ശേഷിയും പണവും ചിലവാക്കുന്ന കാര്യമാണ്. ഏത് മോഡലാണ് അനുയോജ്യമെന്ന് അറിയുന്നതിന് മുമ്പ് ഒരു വേഗത്തിലുള്ള പരിശോധന നടത്തുകയോ, ബാഹ്യ ഡാറ്റ ശേഖരിക്കുകയോ, അല്ലെങ്കിൽ ഒരു ഹെൽപ്പർ ടൂൾ ഉപയോഗിക്കുകയോ ചെയ്യേണ്ടി വരും.
പാൻഡോറയുടെ ബോക്സ് (Pandora’s Box) ഉപമ
റൂട്ടിംഗ് പ്രശ്നത്തെ പാൻഡോറയുടെ ബോക്സ് എന്ന ക്ലാസിക് പസിലുമായി DeepMind ബന്ധിപ്പിക്കുന്നു: ഓരോ മോഡലും നിലവിലെ ക്വറിയിലെ (query) അതിന്റെ പ്രകടനം മറച്ചുവെച്ചിരിക്കുന്ന ഒരു സീൽ ചെയ്ത ബോക്സാണ്. ഒരു ബോക്സ് തുറക്കുന്നത് വിഭവങ്ങൾ (resources) ചിലവാക്കുന്നതിനാൽ, ലഭിക്കാനിടയുള്ള നേട്ടം ആ ചിലവിനെ ന്യായീകരിക്കുന്നുണ്ടോ എന്ന് നിങ്ങൾ തീരുമാനിക്കണം. ഈ ഫ്രെയിംവർക്ക് ഈ സന്തുലനത്തെ (trade-off) ഔദ്യോഗികമാക്കുകയും രണ്ട് പ്രായോഗിക സംവിധാനങ്ങൾ നൽകുകയും ചെയ്യുന്നു.
Pandora’s Router – ഒരു കേന്ദ്രീകൃത തീരുമാനമെടുക്കുന്ന സംവിധാനം
റൂട്ടർ ആദ്യം ഒരു മോഡലിന്റെ സാധ്യത അളക്കുന്നതിനായി കുറഞ്ഞ ചിലവുള്ള ഒരു എസ്റ്റിമേറ്റർ (estimator) ഉപയോഗിക്കുന്നു. നിലവിലുള്ള ഏറ്റവും മികച്ച മോഡലിനേക്കാൾ പ്രതീക്ഷിക്കുന്ന പുരോഗതി മുൻകൂട്ടി നിശ്ചയിച്ച ഒരു “reservation price”-നേക്കാൾ കൂടുതലാണെങ്കിൽ മാത്രമേ കൂടുതൽ കൃത്യമായ വിലയിരുത്തലിനായി റൂട്ടർ ചിലവാക്കുകയുള്ളൂ. എല്ലാ മോഡലുകളും പരിശോധിക്കുന്നത് ഒഴിവാക്കുന്നതിലൂടെ, മികച്ച ഓപ്ഷൻ കണ്ടെത്തുകയും ചെയ്യുമ്പോൾ തന്നെ പരിശോധനയ്ക്കായുള്ള ബജറ്റ് റൂട്ടർ ഗണ്യമായി കുറയ്ക്കുന്നു.
Pandora’s Bidder – ഒരു വികേന്ദ്രീകൃത വിപണി
ബിഡർ വേരിയന്റിൽ (bidder variant), ഒരു കരാർ ലഭിക്കാൻ സഹായിക്കുന്ന സ്വയം വിലയിരുത്തലിനായി (self-assessment) പണം ചിലവാക്കണോ എന്ന് ഓരോ മോഡൽ പ്രൊവൈഡറും തീരുമാനിക്കുന്നു. വിലയിരുത്തൽ ചിലവിനേക്കാൾ കൂടുതൽ ലാഭം ലഭിക്കുമെന്ന് പ്രതീക്ഷിക്കുമ്പോൾ മാത്രമേ പ്രൊവൈഡർമാർ ബിഡുകൾ സമർപ്പിക്കുകയുള്ളൂ. ഇത് ഉയർന്ന ലാഭം ലഭിക്കുമെന്ന് ഉറപ്പുള്ളപ്പോൾ മാത്രം ചിലവേറിയ മൂല്യനിർണ്ണയങ്ങൾ നടക്കുന്ന ഒരു വിപണി സൃഷ്ടിക്കുന്നു.
മൂന്ന് മേഖലകളിലെ ഫലങ്ങൾ
രചയിതാക്കൾ രണ്ട് സംവിധാനങ്ങളും താഴെ പറയുന്നവയിൽ പരീക്ഷിച്ചു:
- ഗണിതശാസ്ത്രപരമായ യുക്തി (Math reasoning) – ഒരു പ്രശ്നം ഏറ്റവും കൃത്യമായി പരിഹരിക്കുന്ന മോഡലിനെ തിരഞ്ഞെടുക്കുന്നു.
- Retrieval-augmented generation (RAG) – ഒരു ലാംഗ്വേജ് മോഡൽ ഉത്തരം നൽകുന്നതിന് മുമ്പ് ഏറ്റവും പ്രസക്തമായ വിവരങ്ങൾ നൽകുന്ന റിട്രീവൽ സിസ്റ്റം തിരഞ്ഞെടുക്കുന്നു.
- Large-scale embedding selection – സിമിലാരിറ്റി സെർച്ചിനായി (similarity search) ഏറ്റവും മികച്ച വെക്റ്റർ റെപ്രസന്റേഷൻ നൽകുന്ന എൻകോഡർ തിരഞ്ഞെടുക്കുന്നു.
എല്ലാ സാഹചര്യങ്ങളിലും, എല്ലാ മോഡലുകളും പരിശോധിക്കുന്നതോ അല്ലെങ്കിൽ ഒട്ടും പരിശോധിക്കാത്തതോ ആയ രീതികളെക്കാൾ കുറഞ്ഞ 'cost-plus-error' മെട്രിക് Pandora’s Router രേഖപ്പെടുത്തി. ഈ സിസ്റ്റം സ്വയം ക്രമീകരിക്കപ്പെടുന്നു: പരിശോധന ചിലവ് കൂടുമ്പോൾ കുറഞ്ഞ മോഡലുകൾ മാത്രം പരിശോധിക്കുന്നു; ചിലവ് കുറയുമ്പോൾ പരിശോധന വർദ്ധിപ്പിക്കുന്നു. റൂട്ടിംഗ് ചെലവിൽ 30% മുതൽ 70% വരെ ലാഭമുണ്ടാക്കാൻ ഇതിന് സാധിച്ചുവെന്നും എന്നാൽ ടാസ്ക് ഗുണനിലവാരത്തിൽ അളക്കാവുന്ന തരത്തിലുള്ള കുറവൊന്നും ഉണ്ടായില്ലെന്നും റിപ്പോർട്ട് ചെയ്തിട്ടുണ്ട്.
ചുരുക്കത്തിൽ: ഇൻഫറൻസ് ബജറ്റുകൾ വർദ്ധിച്ചുവരുന്ന സാഹചര്യത്തിൽ, ഒരു മികച്ച മോഡലിനായി എപ്പോൾ പരിശോധന നിർത്തണം എന്ന് തീരുമാനിക്കുന്നത് മോഡൽ തിരഞ്ഞെടുക്കുന്നതുപോലെ തന്നെ പ്രധാനമാണ്. പാൻഡോറയുടെ ബോക്സ് ഒരു മറഞ്ഞിരിക്കുന്ന ചെലവിനെ നിയന്ത്രിക്കാവുന്ന ഒരു മാർഗമാക്കി മാറ്റുന്നു.