WeMM-Embedding 2B: Chagua Vipimo 256 Badala ya 2048
Watu wengi huchukua modeli ya embedding na kuingiza vector ya ukubwa kamili kwenye mfumo wao (pipeline). Acha kufanya hivyo.
WeMM-Embedding ya Tencent inashughulikia maandishi, picha, video, na nyaraka. Toleo lake lenye vigezo (parameters) bilioni 2 liko tayari kwa matumizi ya kibiashara (production).
Sifa kuu ni Matryoshka embeddings—mchakato mmoja unaweza kutoa vector za vipimo vya 64, 128, 256, 512, 1024, au 2048.
Kwa nini vector ndogo ni muhimu
- Ufanisi (Performance): Katika vipimo 256, kazi za picha na video zinadumisha asilimia 98.7 ya usahihi wa toleo la vipimo 2048.
- Kasi: Vector ndogo zinakuwezesha kujenga upya viashiria (indexes) kwa muda mfupi sana.
- Gharama: Unatumia kiasi kidogo zaidi kwa hifadhi (storage) na kumbukumbu (memory).
- Ufanisi wa rasilimali: Kutumia vipimo 2048 wakati 256 inatosha ni kupoteza rasilimali tu.
Modeli ya 2B inaongoza mshindani wengi wakubwa kwenye jedwali la MMEB-v2. Tayari ni sehemu ya mfumo wa uzalishaji—WeChat inategemea modeli hii kwa utafutaji, e-commerce, na mitandao ya kijamii.
Nyaraka zinahitaji nafasi zaidi
Picha za skrini (screenshots) na nyaraka nyingine za picha zina maandishi mengi na mpangilio tata. Kupunguza vipimo huathiri nyaraka hizi zaidi kuliko picha za kawaida.
Jinsi ya kuijaribu
- Usibadilishe mfumo wako wote kwa mara moja.
- Chagua maswali (queries) 20 ambapo mfumo wako wa sasa unapata changamoto—changanya picha za skrini, picha za bidhaa, na kurasa za nyaraka.
- Pitisha maswali hayo kupitia modeli ya 2B.
- Ikiwa matokeo yanakuwa bora, tekeleza mabadiliko hayo. Ikiwa sivyo, umeokoa muda na pesa.
Weka rekodi ya matokeo kwa kila aina ya maudhui. Picha za bidhaa zinaweza kuwa sawa katika vipimo 256, wakati kurasa za PDF zinaweza kuhitaji kiwango cha chini zaidi cha juu.
Chanzo: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd