WeMM-Embedding 2B: 2048-க்கு பதிலாக 256 பரிமாணங்களைத் தேர்ந்தெடுக்கவும்
பெரும்பாலான மக்கள் ஒரு embedding மாதிரியை எடுத்துக்கொண்டு, அதன் முழு அளவிலான வெக்டரைத் (vector) தங்கள் செயல்பாட்டு வரிசையில் (pipeline) அப்படியே பயன்படுத்துகிறார்கள். அதைத் தவிர்க்கவும்.
Tencent நிறுவனத்தின் WeMM-Embedding உரை, படங்கள், வீடியோ மற்றும் ஆவணங்களைக் கையாள்கிறது. அதன் 2 பில்லியன் அளவுருக்கள் (parameters) கொண்ட பதிப்பு பயன்பாட்டிற்கு (production) தயாராக உள்ளது.
இதன் சிறப்பம்சமே Matryoshka embeddings தான்—ஒரே ஒரு முறை மூலம் 64, 128, 256, 512, 1024 அல்லது 2048 பரிமாணங்களைக் கொண்ட வெக்டர்களைப் பெற முடியும்.
சிறிய வெக்டர்கள் ஏன் முக்கியம்
- செயல்திறன் (Performance): 256 பரிமாணங்களில், படம் மற்றும் வீடியோ சார்ந்த பணிகளில் 2048-பரிமாணப் பதிப்பின் 98.7% துல்லியத்தை இது தக்கவைத்துக் கொள்கிறது.
- வேகம் (Speed): சிறிய வெக்டர்கள் மூலம் குறியீடுகளை (indexes) மிகக் குறைந்த நேரத்தில் மீண்டும் உருவாக்க முடியும்.
- செலவு (Cost): சேமிப்பு (storage) மற்றும் நினைவகத்திற்காக (memory) நீங்கள் செலவிடும் தொகை மிகவும் குறையும்.
- திறன் (Efficiency): 256 பரிமாணங்களே போதுமான போது, 2048 பரிமாணங்களைப் பயன்படுத்துவது வளங்களை வீணடிக்கும் செயலாகும்.
MMEB-v2 லீடர்போர்டில் (leaderboard) இந்த 2B மாடல் பல பெரிய போட்டியாளர்களை விட முன்னணியில் உள்ளது. இது ஏற்கனவே பயன்பாட்டில் உள்ள ஒரு அங்கமாகும்—WeChat நிறுவனம் தேடல், மின்-வணிகம் (e-commerce) மற்றும் சமூக ஊடகங்களுக்காக இதைச் சார்ந்துள்ளது.
ஆவணங்களுக்கு அதிக இடம் தேவைப்படுகிறது
ஸ்கிரீன்ஷாட்டுகள் மற்றும் பிற காட்சி ஆவணங்களில் அடர்த்தியான உரைகளும் சிக்கலான அமைப்புகளும் (layouts) இருக்கும். பரிமாணங்களைக் குறைப்பது புகைப்படங்களை விட இவற்றுக்கு அதிக பாதிப்பை ஏற்படுத்தும்.
இதை எவ்வாறு சோதிப்பது
- உங்கள் முழு அமைப்பையும் ஒரே நேரத்தில் மாற்ற வேண்டாம்.
- உங்கள் தற்போதைய அமைப்பு தடுமாறும் 20 வினவல்களைத் (queries) தேர்ந்தெடுக்கவும்—அவற்றில் ஸ்கிரீன்ஷாட்டுகள், தயாரிப்புப் படங்கள் மற்றும் ஆவணப் பக்கங்கள் கலந்து இருக்கட்டும்.
- அந்த வினவல்களை 2B மாடல் மூலம் இயக்கவும்.
- முடிவுகள் மேம்பட்டால், மாற்றத்தைச் செயல்படுத்தவும். இல்லையெனில், நீங்கள் நேரத்தையும் பணத்தையும் மிச்சப்படுத்தியிருப்பீர்கள்.
ஒவ்வொரு உள்ளடக்க வகைகளுக்கும் (content type) ஒரு மதிப்பீட்டு அட்டவணையை (scorecard) வைத்திருங்கள். தயாரிப்புப் படங்கள் 256 பரிமாணங்களில் சரியாக இருக்கலாம், ஆனால் PDF பக்கங்களுக்கு அதிகபட்ச குறைந்தபட்ச அளவு தேவைப்படலாம்.
ஆதாரம்: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd