Tencent એ આ અઠવાડિયે WeMM-Embedding મોડેલ લોન્ચ કર્યું છે, જે 2 બિલિયન-પેરામીટર ધરાવતું મલ્ટિમોડલ સિસ્ટમ છે અને તે પહેલેથી જ WeChat ના સર્ચ, રેકમેન્ડેશન અને ઈ-કોમર્સ પાઇપલાઇન્સમાં સામેલ છે. આ રિલીઝ મહત્વની છે કારણ કે તે એવું મોડેલ દર્શાવે છે જે વાસ્તવિક દુનિયામાં રિટ્રાઇવલ ક્વોલિટી, લો લેટન્સી અને નાની ઇન્ડેક્સ સાઇઝ આપે છે.
"ડિપ્લોયમેન્ટ સ્ટોરી" વિશે આટલો ઉત્સાહ કેમ?
મોટાભાગના નવા AI મોડેલ્સ ચમકતા બેન્ચમાર્ક ટેબલ્સ સાથે આવે છે જે પસંદ કરેલા ડેટાસેટ્સ પર સ્કોર્સની તુલના કરે છે. તે આંકડા સંશોધકોને તેમનો મુદ્દો સાબિત કરવામાં મદદ કરે છે, પરંતુ તે ભાગ્યે જ એવા મેટ્રિક્સમાં રૂપાંતરિત થાય છે જે પ્રોડક્ટ્સને ચલાવે છે: ક્વેરી કેટલી ઝડપથી પાછી આવે છે, ઇન્ડેક્સ કેટલી મેમરી વાપરે છે, અને મોડેલ યુઝર દ્વારા જનરેટ કરાયેલ અસ્પષ્ટ (noisy) કન્ટેન્ટ સાથે કેટલી સારી રીતે કામ કરે છે. WeMM પહેલા દિવસથી જ પ્રોડક્શન-ગ્રેડ ઘટક બનીને આ પરિસ્થિતિ બદલી નાખે છે. તે કોઈ લેબ પ્રયોગ નથી જે કોઈ ડાઉનસ્ટ્રીમ ટીમ તેને અપનાવે તેની રાહ જોતો હોય; તે પહેલેથી જ Channels, Moments અને ઈ-કોમર્સને પાવર આપે છે.
ટેકનિકલ બાબતો જે ડેવલપર્સે નોંધવી જોઈએ
સાચું મલ્ટિમોડલ હેન્ડલિંગ – આ મોડેલ ટેક્સ્ટ, ઈમેજીસ, વિડિયો ફ્રેમ્સ અને ડોક્યુમેન્ટ થંબનેલ્સને એક જ એમ્બેડિંગ સ્પેસમાં સમાવે છે. યુઝર “sunset” ટાઈપ કરીને કોઈ અલગ ટેક્સ્ટ-ઓન્લી અથવા વિઝન-ઓન્લી પાઇપલાઇન્સને જોડ્યા વગર મેચિંગ વિડિયો ક્લિપ, ફોટો અથવા ન્યૂઝ આર્ટિકલ મેળવી શકે છે.
સાઇઝ મહત્વની છે, પણ તમે જે રીતે વિચારો છો તે રીતે નહીં – 2 B પેરામીટર્સ સાથે, આ મોડેલ લીડરબોર્ડ પર રાજ કરતા 9 B થી વધુ પેરામીટર્સ ધરાવતા મોડેલ્સની સરખામણીમાં “નાનું” છે. તેમ છતાં, તે ઇન્ટરેક્ટિવ સેવાઓ માટે જરૂરી લેટન્સી બજેટને પૂર્ણ કરે છે. જે મોડેલ તમારા હાર્ડવેર સાથે સુસંગત હોય તે લાઈવ સિસ્ટમમાં મોટા અને ધીમા મોડેલ કરતા વધુ સારું પ્રદર્શન કરી શકે છે.
Matryoshka એમ્બેડિંગ્સ ડાયમેન્શન ફ્લેક્સિબિલિટી આપે છે – WeMM “Matryoshka” એમ્બેડિંગ્સને સપોર્ટ કરે છે, જેનો અર્થ છે કે સમાન નેટવર્ક 256 અથવા 512 ડાયમેન્શન જેવા અલગ-અલગ લંબાઈના વેક્ટર્સ આઉટપુટ આપી શકે છે. પરીક્ષણો દર્શાવે છે કે 512 થી 256 ડાયમેન્શન પર આવવાથી મેમરી વપરાશ અડધો થઈ જાય છે અને રિટ્રાઇવલ પર્ફોર્મન્સ લગભગ સંપૂર્ણ જળવાઈ રહે છે, જેનાથી સ્ટોરેજ ખર્ચ સીધો ઘટે છે અને નેરેસ્ટ-નેબર સર્ચ ઝડપી બને છે.
રિટ્રાઇવલ સિસ્ટમ બનાવવા માટેના ત્રણ વ્યવહારુ નિયમો
તમારા પોતાના ડેટા પર ચકાસણી કરો – બેન્ચમાર્ક ક્લીન હોય છે; પ્રોડક્શન ડેટા અસ્તવ્યસ્ત હોય છે. જો તમારા યુઝર્સ સ્ક્રીનશોટ, હાથથી લખેલી નોંધો અથવા લો-રિઝોલ્યુશન વિડિયો અપલોડ કરતા હોય, તો તે મોડેલ યોગ્ય છે કે નહીં તે નક્કી કરતા પહેલા તે જ પ્રકારના ડેટા પર મોડેલ ચલાવી જુઓ.
વેક્ટર લંબાઈને ખર્ચના સાધન તરીકે જુઓ – મોટા વેક્ટર્સ સિમિલારિટી સર્ચ માટે જરૂરી કમ્પ્યુટ અને ઇન્ડેક્સ માટે ડિસ્ક સ્પેસ બંને વધારે છે. તમારા ક્વોલિટી ટાર્ગેટને પૂર્ણ કરે તેવા સૌથી નાના ડાયમેન્શનથી શરૂઆત કરો. જ્યારે તમને રીકોલ (recall) અથવા પ્રિસિઝન (precision) માં સ્પષ્ટ ઘટાડો દેખાય ત્યારે જ તેને વધારો.
અલગ-અલગ (siloed) પાઇપલાઇન્સથી બચો – દરેક મોડાલિટી માટે અલગ એન્કોડર્સ બનાવવાથી તમારે અંતિમ રેન્કિંગ સ્ટેજ માટે વેટિંગ સ્કીમ્સ જાતે બનાવવી પડે છે. એક યુનિવર્સલ એમ્બેડિંગ લેયર તે ગ્લુ કોડને દૂર કરે છે, એન્જિનિયરિંગ ઓવરહેડ ઘટાડે છે અને A/B ટેસ્ટિંગને સરળ બનાવે છે.
વ્યાપક જોખમો અને ફાયદા
જે કંપનીઓ સર્ચ અથવા રેકમેન્ડેશન પર આધાર રાખે છે, તેમના માટે એમ્બેડિંગ મોડેલની પસંદગી ઇન્ફ્રાસ્ટ્રક્ચર ખર્ચ નક્કી કરી શકે છે. યુઝર્સની અપેક્ષાઓ વધતા લેટન્સી બજેટ ઘટે છે; દરેક ક્વેરીમાં થોડા મિલિસેકન્ડનો પણ વધારો કરતું મોડેલ સર્વિસના સ્વીકાર્ય પર્ફોર્મન્સને બગાડી શકે છે, જેનાથી યુઝર્સનો ઘટાડો (churn) થઈ શકે છે.
Apache 2.0 લાઇસન્સ હેઠળ વેટ્સ (weights) ને ઓપન-સોર્સ કરવાનો Tencent નો નિર્ણય ડેવલપર્સ માટે ખર્ચ ઘટાડે છે. પ્રોપ્રાઇટરી કોન્ટ્રાક્ટ્સ કરવા અથવા શૂન્યથી મોડેલ બનાવવાને બદલે, ટીમો ચેકપોઇન્ટ ડાઉનલોડ કરી શકે છે, તેને ડોમેન-સ્પેસિફિક ડેટા પર ફાઇન-ટ્યુન કરી શકે છે અને કેટલાક નિષ્ફળ કેસો સામે તેનું મૂલ્યાંકન કરી શકે છે.
મોડેલ ક્યાં નિષ્ફળ જઈ શકે છે
આ મોડેલ ચાર મોડાલિટીઝ—ટેક્સ્ટ, ઈમેજીસ, વિડિયો અને ડોક્યુમેન્ટ્સને હેન્ડલ કરે છે—પરંતુ તે દરેક સંભવિત ઇનપુટ પ્રકારને આવરી લેતું નથી.
આગળ શું જોવું
મુખ્ય સારાંશ
WeMM સાબિત કરે છે કે જ્યારે પ્રોડક્શનની મર્યાદાઓને ધ્યાનમાં રાખીને બનાવવામાં આવે, ત્યારે મધ્યમ કદનું મલ્ટિમોડલ એમ્બેડિંગ મોડેલ દૈનિક ક્વેરીઝને હેન્ડલ કરી શકે છે. ડેવલપર્સ માટે સંદેશ સ્પષ્ટ છે: વાસ્તવિક દુનિયાની રિટ્રાઇવલ ક્વોલિટીને પ્રાધાન્ય આપો, વેક્ટર ડાયમેન્શન શક્ય તેટલા નાના રાખો અને તમામ મોડાલિટીઝને એક જ એમ્બેડિંગ લેયરમાં એકત્રિત કરો. આ પસંદગીઓ લેટન્સી ઘટાડી શકે છે, સ્ટોરેજ ખર્ચ ઘટાડી શકે છે અને અંતે, અંતિમ વપરાશકર્તાઓને વધુ સારો અનુભવ આપી શકે છે.