પેન્ડोराનું AI મોડલ રાઉટિંગ બોક્સ (Pandora's AI Model Routing Box)
DeepMind નો નવો પેપર "Pandora’s Box" ફ્રેમવર્ક પ્રસ્તાવિત કરે છે જે કાર્યની કામગીરીમાં કોઈ ફેરફાર કર્યા વિના રાઉટિંગ ઓવરહેડમાં 70% સુધીનો ઘટાડો કરે છે.
રાઉટિંગ ખર્ચ શા માટે મહત્વનો છે
જ્યારે કોઈ સર્વિસને વિનંતી (request) મળે છે, ત્યારે તેની પાસે મોડલ્સનું એક મેનૂ હોય છે—કેટલાક ઝડપી પણ સપાટી પરના (coarse), તો અન્ય ધીમા પણ સચોટ હોય છે. શ્રેષ્ઠ મોડલ પસંદ કરવા માટે કમ્પ્યુટિંગ પાવર અને નાણાંનો ખર્ચ થાય છે. કયું મોડલ યોગ્ય છે તે જાણતા પહેલા તમારે ઝડપી ટેસ્ટ કરવો પડે છે, બાહ્ય ડેટા મેળવવો પડે છે અથવા હેલ્પર ટૂલનો ઉપયોગ કરવો પડે છે.
પેન્ડोराના બોક્સનું સામ્ય (The Pandora’s Box analogy)
DeepMind રાઉટિંગ સમસ્યાને ક્લાસિક "Pandora’s Box" કોયડા સાથે જોડે છે: દરેક મોડલ એક સીલબંધ બોક્સ છે જે વર્તમાન ક્વેરી પર તેની કામગીરી છુપાવે છે. બોક્સ ખોલવાથી સંસાધનોનો વપરાશ થાય છે, તેથી તમારે નક્કી કરવું પડે છે કે સંભવિત લાભ ખર્ચને યોગ્ય ઠેરવે છે કે નહીં. આ ફ્રેમવર્ક આ ટ્રેડ-ઓફને (trade-off) முறைબદ્ધ કરે છે અને બે નક્કર પદ્ધતિઓ પૂરી પાડે છે.
Pandora’s Router – એક કેન્દ્રીય નિર્ણય લેનાર
રાઉટર સૌ પ્રથમ મોડલની ક્ષમતા માપવા માટે એક સસ્તું અને અસ્પષ્ટ (noisy) એસ્ટીમેટર ચલાવે છે. જો વર્તમાન શ્રેષ્ઠ મોડલ કરતા અપેક્ષિત સુધારો પૂર્વ-નિર્ધારિત "reservation price" કરતા વધી જાય, તો જ તે વધુ સચોટ મૂલ્યાંકન માટે ખર્ચ કરે છે. દરેક મોડલની તપાસ કરવાનો ઇનકાર કરીને, રાઉટર શ્રેષ્ઠ વિકલ્પને સામે લાવવાની સાથે સાથે તપાસના બજેટમાં પણ મોટો ઘટાડો કરે છે.
Pandora’s Bidder – એક વિકેન્દ્રિત બજાર (marketplace)
બિડર વેરિઅન્ટમાં, દરેક મોડલ પ્રોવાઈડર નક્કી કરે છે કે તે સ્વ-મૂલ્યાંકન (self-assessment) પર પૈસા ખર્ચવા માંગે છે કે નહીં, જેનાથી તેને કોન્ટ્રાક્ટ મળી શકે. પ્રોવાઈડર્સ ત્યારે જ બિડ સબમિટ કરે છે જ્યારે તેમને લાગે કે વિજેતા બનવાની તક સામે મૂલ્યાંકનનો ખર્ચ ઓછો છે. આ એક એવું બજાર બનાવે છે જ્યાં ખર્ચાળ મૂલ્યાંકન ત્યારે જ થાય છે જ્યારે વળતર પૂરતું ઊંચું હોય.
ત્રણ ક્ષેત્રોમાં પરિણામો
લેખકોએ બંને પદ્ધતિઓનું આ ક્ષેત્રોમાં પરીક્ષણ કર્યું:
- ગણિતનું તર્ક (Math reasoning) – સમસ્યાને સૌથી સચોટ રીતે ઉકેલતા મોડલની પસંદગી કરવી.
- Retrieval-augmented generation (RAG) – લેંગ્વેજ મોડલ જવાબ આપતા પહેલા સૌથી સુસંગત સંદર્ભ (context) પૂરો પાડતી રિટ્રીવલ સિસ્ટમ પસંદ કરવી.
- મોટા પાયે એમ્બેડિંગ સિલેક્શન (Large-scale embedding selection) – સિમિલારિટી સર્ચ માટે શ્રેષ્ઠ વેક્ટર રિપ્રેઝન્ટેશન આપતા એન્કોડરની પસંદગી કરવી.
દરેક કિસ્સામાં, Pandora’s Router એ સૌથી ઓછું સંયુક્ત 'cost-plus-error' મેટ્રિક નોંધ્યું હતું, જે એવા બેઝલાઇન્સ કરતા પણ ચઢિયાતું હતું જે કાં તો હંમેશા દરેક મોડલની તપાસ કરે છે અથવા ક્યારેય તપાસ કરતા નથી. સિસ્ટમ આપમેળે અનુકૂલન સાધે છે: જ્યારે તપાસનો ખર્ચ વધે છે, ત્યારે તે ઓછા મોડલ્સની તપાસ કરે છે; જ્યારે ખર્ચ ઘટે છે, ત્યારે તે તપાસ વધારે છે. રાઉટિંગ ખર્ચમાં 30% થી 70% સુધીની બચત નોંધાઈ છે, અને તેનાથી કાર્યની ગુણવત્તામાં કોઈ નોંધપાત્ર ઘટાડો થયો નથી.
મુખ્ય વાત (Takeaway): જેમ જેમ ઇન્ફરન્સ બજેટ વધતું જાય છે, તેમ તેમ વધુ સારા મોડલ માટે તપાસ ક્યારે બંધ કરવી તે નક્કી કરવું એ મોડલ પસંદ કરવા જેટલું જ મહત્વપૂર્ણ બની જાય છે. Pandora’s Box છુપાયેલા ખર્ચને નિયંત્રિત કરી શકાય તેવા સાધન (lever) માં ફેરવે છે.