WeMM-Embedding 2B: 2048 के बजाय 256 डायमेंशन चुनें
अधिकांश लोग एक एम्बेडिंग मॉडल लेते हैं और उसके पूरे आकार के वेक्टर को सीधे अपने पाइपलाइन में डाल देते हैं। ऐसा करना बंद करें।
Tencent का WeMM-Embedding टेक्स्ट, इमेज, वीडियो और डॉक्यूमेंट्स को हैंडल करता है। इसका 2 बिलियन-पैरामीटर वाला वर्ज़न प्रोडक्शन के लिए तैयार है।
इसकी सबसे खास विशेषता Matryoshka embeddings है—एक ही पास में यह 64, 128, 256, 512, 1024, या 2048-डायमेंशनल वेक्टर आउटपुट दे सकता है।
छोटे वेक्टर क्यों महत्वपूर्ण हैं
- परफॉरमेंस (Performance): 256 डायमेंशन पर, इमेज और वीडियो टास्क 2048-dim वर्ज़न की तुलना में 98.7% सटीकता बनाए रखते हैं।
- स्पीड (Speed): छोटे वेक्टर आपको बहुत कम समय में इंडेक्स को फिर से बनाने की सुविधा देते हैं।
- लागत (Cost): आप स्टोरेज और मेमोरी पर बहुत कम खर्च करते हैं।
- कार्यक्षमता (Efficiency): जब 256 डायमेंशन पर्याप्त हों, तब 2048 डायमेंशन का उपयोग करना केवल संसाधनों की बर्बादी है।
2B मॉडल MMEB-v2 लीडरबोर्ड पर कई बड़े प्रतिस्पर्धियों से आगे है। यह पहले से ही एक प्रोडक्शन कंपोनेंट है—WeChat सर्च, ई-कॉमर्स और सोशल मीडिया के लिए इस पर भरोसा करता है।
डॉक्यूमेंट्स को अधिक स्पेस की आवश्यकता होती है
स्क्रीनशॉट और अन्य विजुअल डॉक्यूमेंट्स में घना टेक्स्ट और जटिल लेआउट होते हैं। डायमेंशन कम करने से उन पर फोटो की तुलना में अधिक बुरा असर पड़ता है।
इसका परीक्षण कैसे करें
- अपने पूरे सिस्टम को एक साथ न बदलें।
- ऐसी 20 क्वेरीज़ चुनें जहाँ आपका वर्तमान सेटअप विफल हो रहा हो—इसमें स्क्रीनशॉट, प्रोडक्ट इमेज और डॉक्यूमेंट पेज का मिश्रण रखें।
- उन क्वेरीज़ को 2B मॉडल के माध्यम से चलाएं।
- यदि परिणाम बेहतर होते हैं, तो बदलाव लागू करें। यदि नहीं, तो आपने समय और पैसा बचा लिया।
प्रत्येक कंटेंट टाइप के लिए एक स्कोरकार्ड रखें। प्रोडक्ट फोटो 256 डायमेंशन पर ठीक हो सकती हैं, जबकि PDF पेजों को अधिक न्यूनतम डायमेंशन की आवश्यकता हो सकती है।
स्रोत: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd