AI റൗട്ടിംഗിന്റെ പാൻഡോറ ബോക്സ്

DeepMind "Pandora’s Router" അവതരിപ്പിച്ചു. മോഡൽ തിരഞ്ഞെടുപ്പിനെ (model-selection) ചിലവ് കണക്കിലെടുക്കുന്ന ഒരു 'പാൻഡോറസ്-ബോക്സ്' പ്രശ്നമായി കാണുന്ന ഒരു ഫ്രെയിംവർക്കാണിത്. ഫലങ്ങൾ മെച്ചപ്പെടുത്തുന്ന വിവരങ്ങൾക്ക് മാത്രം പണം ഈടാക്കുന്നതിലൂടെ, കൃത്യമായ തിരച്ചിലുകൾക്ക് (exhaustive searches) തുല്യമായ ഫലങ്ങൾ നൽകിക്കൊണ്ട് തന്നെ ഇൻഫറൻസ് ചിലവ് (inference spend) ഈ സിസ്റ്റം ഗണ്യമായി കുറയ്ക്കുന്നു.

എന്തുകൊണ്ടാണ് മോഡൽ സെലക്ഷൻ സൗജന്യമല്ലാത്തത്?

പ്രൊഡക്ഷൻ പൈപ്പ്‌ലൈനുകൾ പലപ്പോഴും ഒരു മോഡൽ തിരഞ്ഞെടുക്കുന്ന ഘട്ടത്തിന് ചിലവില്ല എന്ന് കരുതുന്നു. എന്നാൽ യഥാർത്ഥത്തിൽ, ഒരു മോഡലിന്റെ അനുയോജ്യത കണക്കാക്കുന്നത് കമ്പ്യൂട്ട് (compute), മെമ്മറി (memory), ചിലപ്പോൾ എക്സ്റ്റേണൽ ഡാറ്റാ കോളുകൾ എന്നിവ ഉപയോഗിക്കുന്നു. വേഗത്തിലുള്ളതും കൃത്യമല്ലാത്തതുമായ (noisy) ഒരു എസ്റ്റിമേറ്റ് ചിലവ് കുറഞ്ഞതാണെങ്കിലും അത് തെറ്റായ തീരുമാനങ്ങളിലേക്ക് നയിച്ചേക്കാം; കൃത്യമായ ഒരു എസ്റ്റിമേറ്റിന് സാധാരണയായി ഒരു ചെറിയ മോഡൽ പ്രവർത്തിപ്പിക്കുകയോ അല്ലെങ്കിൽ കൂടുതൽ വിവരങ്ങൾ (extra context) ശേഖരിക്കുകയോ ചെയ്യേണ്ടി വരും, ഇത് ചിലവ് വർദ്ധിപ്പിക്കുന്നു.

DeepMind-ന്റെ പേപ്പർ ഈ പ്രതിസന്ധിയെ പുതിയ രീതിയിൽ അവതരിപ്പിക്കുന്നു. ഓരോ മോഡലും ഒരു "മൂല്യം" (value) ഒളിപ്പിച്ചു വെച്ചിട്ടുണ്ട് - അതായത് വരുന്ന ക്വറിയിൽ (query) ആ മോഡലിന്റെ പ്രതീക്ഷിക്കാവുന്ന പ്രകടനം. കൂടുതൽ വിവരങ്ങൾ തേടുന്നത് അതിന്റെ ചിലവിനെ അപേക്ഷിച്ച് ഗുണകരമല്ല എന്ന് തോന്നുമ്പോൾ, ആ മൂല്യം പരിശോധിക്കാൻ ഒരു ഫീസ് നൽകാനും പിന്നീട് അത് നിർത്താനും ഈ ഫ്രെയിംവർക്ക് ഒരു കൺട്രോളറെ അനുവദിക്കുന്നു.

പരിഹാരത്തിന്റെ രണ്ട് ഭാഗങ്ങൾ

  • Pandora’s Router – ഓരോ റിക്വസ്റ്റിനും ഒരു മോഡലിന്റെ മൂല്യത്തെക്കുറിച്ച് കൂടുതൽ കൃത്യമായ എസ്റ്റിമേറ്റ് ലഭിക്കാൻ പണം നൽകണോ എന്ന് തീരുമാനിക്കുന്ന ഒരു സെൻട്രലൈസ്ഡ് എൻജിൻ. ഇത് ഒരു "റിസർവ് പ്രൈസ്" (reserve price) നിശ്ചയിക്കുന്നു: അതായത്, ഒരു മികച്ച എസ്റ്റിമേറ്റിലൂടെ ലഭിക്കുന്ന ലാഭം അതിന്റെ ഫീസിനേക്കാൾ കുറവാണെങ്കിൽ ആ പരിധിക്ക് താഴെയായിരിക്കും അത്. പ്രതീക്ഷിക്കുന്ന മെച്ചം റിസർവ് പ്രൈസിനേക്കാൾ കൂടുതലാണെങ്കിൽ എൻജിൻ ആ വിവരം വാങ്ങുന്നു; അല്ലെങ്കിൽ നിലവിലുള്ള ഏറ്റവും മികച്ച ഊഹവുമായി മുന്നോട്ട് പോകുന്നു.

  • Pandora’s Bidder – മോഡൽ മാർക്കറ്റ് പ്ലേസുകൾക്കായുള്ള ഒരു ഡിസെൻട്രലൈസ്ഡ് സംവിധാനം. ഒരു ബിഡ് സമർപ്പിക്കുന്നതിന് മുമ്പ് സ്വന്തം മൂല്യ എസ്റ്റിമേറ്റ് കൂടുതൽ കൃത്യമാക്കാൻ കമ്പ്യൂട്ട് ചിലവാക്കണോ എന്ന് സ്വതന്ത്ര സേവനദാതാക്കൾ തീരുമാനിക്കുന്നു. അവരുടെ സ്വന്തം റിസർവ് പ്രൈസ്, മെച്ചപ്പെട്ട എസ്റ്റിമേറ്റ് വഴി വിജയിക്കാൻ സാധ്യതയുള്ളപ്പോൾ മാത്രം ചിലവാക്കാൻ അവരെ പ്രേരിപ്പിക്കുന്നു.

രണ്ട് ഭാഗങ്ങളും ഒരേ തത്വമാണ് പിന്തുടരുന്നത്: പ്രതീക്ഷിക്കുന്ന ലാഭം അതിന്റെ ചിലവിനേക്കാൾ കൂടുതലാണെങ്കിൽ മാത്രം വിവരങ്ങൾക്കായി ചിലവാക്കുക.

മൂന്ന് മേഖലകളിലെ ഫലങ്ങൾ

രചയിതാക്കൾ മൂന്ന് വർക്ക്ലോഡുകളിൽ ഈ രീതി പരീക്ഷിച്ചു:

  1. ഗണിതശാസ്ത്രപരമായ യുക്തി (Mathematical reasoning) – വ്യത്യസ്ത കൃത്യതയുള്ള സോൾവറുകളിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നത്.
  2. Retrieval-augmented generation (RAG) – വ്യത്യസ്ത നോളജ്-ബേസ് ലുക്കപ്പ് സ്ട്രാറ്റജികൾക്കിടയിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നത്.
  3. ലാർജ് സ്കെയിൽ എംബഡിംഗ് മോഡലുകൾ (Large-scale embedding models) – സിമിലാരിറ്റി സെർച്ചിനായി മികച്ച എൻകോഡർ തിരഞ്ഞെടുക്കുന്നത്.

എല്ലാ സാഹചര്യങ്ങളിലും Pandora’s Router സ്റ്റാറ്റിക് റൂട്ടിംഗ് നിയമങ്ങളെയും ഗ്രീഡി ഹ്യൂറിസ്റ്റിക്സിനെയും (greedy heuristics) മറികടന്നു. ഏറ്റവും കഠിനമായ സാഹചര്യങ്ങളിൽ പോലും, പരിശോധനയ്ക്കുള്ള ചിലവ് ഒഴിവാക്കിക്കൊണ്ട് എല്ലാ മോഡലുകളെയും പരിശോധിക്കുന്ന (brute-force scan) രീതിക്ക് തുല്യമായ ഗുണനിലവാരം ഇത് നൽകി. "പരിശോധന ചിലവുകളിൽ ഭൂരിഭാഗവും" ലാഭിക്കപ്പെട്ടതായി രചയിതാക്കൾ റിപ്പോർട്ട് ചെയ്യുന്നു, ഇത് കമ്പ്യൂട്ട് ചിലവിൽ വലിയ കുറവിനെ സൂചിപ്പിക്കുന്നു.

AI എഞ്ചിനീയറിംഗിന് ഇതിന്റെ അർത്ഥമെന്താണ്?

  • റൂട്ടിംഗ് ഓവർഹെഡ് അവഗണിക്കരുത്. ഏത് മോഡൽ ഉപയോഗിക്കണമെന്ന് തീരുമാനിക്കുന്നതിന് കൃത്യമായ ചിലവുണ്ട്.
  • ഒരു റിസർവ് പ്രൈസ് ഏർപ്പെടുത്തുക. കൂടുതൽ വിവരങ്ങൾ തേടുന്നത് അതിന്റെ ഫീസിനെ അപേക്ഷിച്ച് ലാഭകരമാണോ എന്ന് തീരുമാനിക്കാൻ ഒരു പരിധി നിശ്ചയിക്കുക.
  • കോസ്റ്റ്-അവയർ റൂട്ടിംഗ് സ്വീകരിക്കുക. മോഡൽ കാറ്റലോഗുകൾ വർദ്ധിക്കുമ്പോൾ, പ്രതീക്ഷിക്കുന്ന ലാഭവും ചിലവും തമ്മിൽ സന്തുലിതാവസ്ഥ നിലനിർത്തുന്ന ഒരു ഡിസിഷൻ ലെയർ ബജറ്റ് നിയന്ത്രിക്കാൻ സഹായിക്കും.

മറുഭാഗം: വർദ്ധിച്ച സങ്കീർണ്ണത

ഒരു ബിഡിംഗ് അല്ലെങ്കിൽ റൂട്ടിംഗ് ലെയർ ചേർക്കുന്നത് ചില വിട്ടുവീഴ്ചകൾ (trade-offs) ആവശ്യപ്പെടുന്നു. റിസർവ് പ്രൈസുകൾ കണക്കാക്കുന്ന ലോജിക് പരിപാലിക്കാനും, ഫീ സ്ട്രക്ചറുകൾ നിരീക്ഷിക്കാനും, അധികമായി വരുന്ന കോഡ് പാത്ത് ഒരു തടസ്സമായി (bottleneck) മാറുന്നില്ലെന്ന് ഉറപ്പാക്കാനും ടീമുകൾക്ക് സാധിക്കണം. കുറച്ച് മോഡലുകൾ മാത്രമുള്ള ചെറിയ ഡിപ്ലോയ്മെന്റുകളിൽ, Pandora’s Router ലാഭിക്കുന്നതിനേക്കാൾ കൂടുതൽ ചിലവ് വരുത്തിയേക്കാം. കൂടാതെ, മെച്ചപ്പെട്ട എസ്റ്റിമേറ്റിന്റെ ചിലവ് കൃത്യമാണെന്നും സ്ഥിരമാണെന്നും ഈ ഫ്രെയിംവർക്ക് അനുമാനിക്കുന്നു—മാറിക്കൊണ്ടിരിക്കുന്ന ക്ലൗഡ് നിരക്കുകളിലോ സ്പോട്ട് ഇൻസ്റ്റൻസ് തടസ്സങ്ങളിലോ ഈ അനുമാനം തെറ്റിയേക്കാം.

ചുരുക്കത്തിൽ

മോഡൽ സെലക്ഷനെ ഒരു സൗജന്യ റൂട്ടിംഗ് ഘട്ടമായി കാണാതെ, ഒരു സാമ്പത്തിക തീരുമാനമായി കാണുക. ഔട്ട്പുട്ട് ഗുണനിലവാരം കുറയ്ക്കാതെ തന്നെ അനാവശ്യ കമ്പ്യൂട്ട് ചിലവ് കുറയ്ക്കാൻ അച്ചടക്കമുള്ളതും ചിലവ് കണക്കിലെടുക്കുന്നതുമായ ഒരു സമീപനം സഹായിക്കുമെന്ന് Pandora’s Router കാണിച്ചുതരുന്നു. ഇത് AI സിസ്റ്റങ്ങളെ സ്കെയിലബിൾ ആയും സാമ്പത്തികമായി സുസ്ഥിരമായും നിലനിർത്താൻ സഹായിക്കുന്നു.