સંશોધકોએ ReBA routing રજૂ કર્યું છે, જે એક ભૂમિતિ-માર્ગદર્શિત (geometry-guided) ટોકન-રૂટિંગ સ્કીમ છે જે મલ્ટિમોડલ મિક્સચર-ઓફ-એક્સપર્ટ્સ (MoE) મોડલ્સમાં વિઝ્યુઅલ અને ટેક્સ્ટ્યુઅલ ટોકન્સને સંતુલિત રાખે છે. પ્રારંભિક પ્રયોગોએ દર્શાવ્યું કે જ્યારે ઇમેજ રિઝોલ્યુશન વધારવામાં આવે ત્યારે આ પદ્ધતિ તાલીમ (training) ને સ્થિર રાખે છે, જે એક એવી પરિસ્થિતિ છે જ્યાં પરંપરાગત રાઉટર્સ સામાન્ય રીતે નિષ્ફળ જાય છે.

વિઝન-લેંગ્વેજ મોડલ્સને નવા રાઉટરની જરૂર કેમ છે

વિઝન-લેંગ્વેજ મોડલ્સ બે ખૂબ જ અલગ પ્રકારના ડેટા સ્ટ્રીમ્સ મેળવે છે: સેંકડોની સંખ્યામાં હોઈ શકે તેવા ઇમેજ પેચ (image patches) અને થોડાક શબ્દ ટોકન્સ (word tokens). સ્ટાન્ડર્ડ MoE રાઉટર્સ દરેક ટોકનને એક જ પ્રકારના ડેટા તરીકે ગણે છે, તેથી ઇમેજ પેચ્સ થોડા જ એક્સપર્ટ્સ પરનો ભાર વધારી દે છે જ્યારે ટેક્સ્ટ ટોકન્સ નિષ્ક્રિય રહે છે. હાલના કાર્યમાં લોડને સુધારવા માટે 'ઓક્સિલરી લોસ' (auxiliary loss) નો ઉપયોગ કરવામાં આવે છે જે ફક્ત દરેક એક્સપર્ટને સોંપવામાં આવેલા ટોકન્સની કુલ સંખ્યાને સમાન બનાવે છે. કારણ કે ઇમેજનો વિશાળ લોડ ટેક્સ્ટના નાના લોડને સરભર કરી શકે છે, તેથી જ્યાં સુધી કામગીરી ન ઘટે ત્યાં સુધી આ લોસ વાસ્તવિક અસંતુલનને છુપાવી દે છે.

ReBA કેવી રીતે રૂટિંગની રમત બદલે છે

ReBA રૂટિંગ પ્રક્રિયામાં modality boundary ઉમેરે છે. પેચ અને શબ્દોને મિક્સ કરતા સિંગલ પૂલને બદલે, તે ઇમેજ ટોકન્સના ભૌમિતિક લેઆઉટનું સન્માન કરતા અલગ માર્ગો બનાવે છે. દરેક ઇમેજ ઇન્સ્ટન્સને સમાન એકંદર વજન (weight) મળે છે, જે કોઈપણ સિંગલ એક્સપર્ટને બોટલનેક (bottleneck) બનતા અટકાવે છે. પેચ્સની સ્પેસિયલ ગોઠવણી દ્વારા માર્ગદર્શન મેળવીને, ઇનપુટ રિઝોલ્યુશન બદલાય તો પણ સિસ્ટમ સ્થિર રહે છે.

લેખકો દ્વારા અહેવાલ આપેલા મુખ્ય ફાયદાઓ:

  • વિઝ્યુઅલ અને લિંગ્વિસ્ટિક ટોકન્સ વચ્ચે સ્પષ્ટ વિભાજન બનાવે છે.
  • બેચમાં રહેલી દરેક ઇમેજનું સમાન યોગદાન સુનિશ્ચિત કરે છે.
  • એક્સપર્ટ્સને એક જ મોડાલિટી દ્વારા ઓવરવેમ થતા અટકાવે છે.
  • જ્યારે ઇમેજ પેચની સંખ્યા વધે ત્યારે સંતુલન જાળવી રાખે છે.

વિવિધ બેન્ચમાર્ક સેટિંગ્સમાં, ReBA એ બેચમાં કેટલા પેચ ઉમેરવામાં આવ્યા હોય તેની પરવા કર્યા વિના એક્સપર્ટ પૂલનો સમાન ઉપયોગ જાળવી રાખ્યો, જે પરંપરાગત ઓક્સિલરી-લોસ અભિગમ કરતા વધુ સારું પ્રદર્શન કરે છે.

મર્યાદાઓ અને ખુલ્લા પ્રશ્નો

આ અભ્યાસમાં ઝડપ અથવા મેમરી વપરાશ અંગેના આંકડા આપવામાં આવ્યા નથી, તેથી વધારાના રૂટિંગ લોજિકને કારણે કોઈ છુપો ખર્ચ (hidden costs) થાય છે કે નહીં તે આપણે જાણી શકતા નથી. લેખકો એવું પણ માની લે છે કે એક જ ઇમેજના તમામ પેચ એક સિંગલ યુનિટ તરીકે કામ કરે છે; જો બેચમાં અલગ-અલગ રિઝોલ્યુશનની ઇમેજ હોય અથવા આંશિક રીતે માસ્ક કરેલા વિસ્તારો હોય, તો આ ધારણા ખોટી પડી શકે છે.

આગળ શું જોવું

  • પરફોર્મન્સ-વિરુદ્ધ-કાર્યક્ષમતાના ટ્રેડ-ઓફ (Performance-vs-efficiency trade-offs): ભવિષ્યના કાર્યમાં ReBA દ્વારા ઉમેરવામાં આવતા કોઈપણ ઓવરહેડને માપવાની જરૂર પડશે.
  • મિક્સ-બેચ બિહેવિયર (Mixed-batch behavior): હાઈ-રિઝોલ્યુશન અને લો-રિઝોલ્યુશન ઇમેજને જોડતી બેચ પર પરીક્ષણ કરવાથી મોડાલિટી બાઉન્ડરી ટકી રહે છે કે નહીં તે જાણવા મળશે.
  • મોટા પાયે પાઇપલાઇન્સમાં સ્વીકૃતિ: જો રૂટિંગ સ્થિરતા ડાઉનસ્ટ્રીમ કાર્યોમાં સુધારો લાવે—જેમ કે ઇમેજ કેપ્શનિંગ અથવા વિઝ્યુઅલ ક્વેશ્ચન આન્સરિંગ—તો ડેવલપર્સ સ્ટાન્ડર્ડ ઓક્સિલરી લોસને બદલે ReBA નો ઉપયોગ કરી શકે છે.

જો તમે વિઝન-લેંગ્વેજ MoE પાઇપલાઇન બનાવી રહ્યા હોવ, તો ઇમેજ રિઝોલ્યુશન વધારતી વખતે ડિફોલ્ટ રાઉટરને બદલે ReBA નો ઉપયોગ કરવાથી તમને એક્સપર્ટ વપરાશનું વધુ સમાન પેટર્ન મળી શકે છે. ફેરફાર કર્યા પછી ટોકન-ડિસ્ટ્રિબ્યુશન મેટ્રિક્સ પર નજર રાખો; સપાટ (flatter) ડિસ્ટ્રિબ્યુશન એ સંકેત આપે છે કે મોડાલિટી બાઉન્ડરી તેનું કામ બરાબર કરી રહી છે.