WeMM-Embedding 2B: 2048 ಕ್ಕಿಂತ 256 ಡೈಮೆನ್ಷನ್ಗಳನ್ನು ಆರಿಸಿ
ಹೆಚ್ಚಿನ ಜನರು ಎಂಬೆಡ್ಡಿಂಗ್ ಮಾಡೆಲ್ ಅನ್ನು ಪಡೆದು, ಅದರ ಪೂರ್ಣ ಗಾತ್ರದ ವೆಕ್ಟರ್ ಅನ್ನು ನೇರವಾಗಿ ತಮ್ಮ ಪೈಪ್ಲೈನ್ಗೆ ಬಳಸುತ್ತಾರೆ. ಹಾಗೆ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ.
Tencent ನ WeMM-Embedding ಪಠ್ಯ, ಚಿತ್ರಗಳು, ವಿಡಿಯೋ ಮತ್ತು ದಾಖಲೆಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಇದರ 2 ಬಿಲಿಯನ್-ಪ್ಯಾರಾಮೀಟರ್ ಆವೃತ್ತಿಯು ಪ್ರೊಡಕ್ಷನ್ ಬಳಕೆಗೆ ಸಿದ್ಧವಾಗಿದೆ.
ಇದರ ಪ್ರಮುಖ ವೈಶಿಷ್ಟ್ಯವೆಂದರೆ Matryoshka embeddings—ಒಂದೇ ಒಂದು ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ (single pass) 64, 128, 256, 512, 1024 ಅಥವಾ 2048-ಡೈಮೆನ್ಷನಲ್ ವೆಕ್ಟರ್ಗಳನ್ನು ಪಡೆಯಬಹುದು.
ಸಣ್ಣ ವೆಕ್ಟರ್ಗಳು ಏಕೆ ಮುಖ್ಯ
- Performance: 256 ಡೈಮೆನ್ಷನ್ಗಳಲ್ಲಿ, ಚಿತ್ರ ಮತ್ತು ವಿಡಿಯೋ ಕಾರ್ಯಗಳು 2048-dim ಆವೃತ್ತಿಯ 98.7% ನಿಖರತೆಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತವೆ.
- Speed: ಸಣ್ಣ ವೆಕ್ಟರ್ಗಳು ಇಂಡೆಕ್ಸ್ಗಳನ್ನು ಅತ್ಯಲ್ಪ ಸಮಯದಲ್ಲಿ ಮರುನಿರ್ಮಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ.
- Cost: ಸ್ಟೋರೇಜ್ ಮತ್ತು ಮೆಮೊರಿಗಾಗಿ ನೀವು ಮಾಡುವ ವೆಚ್ಚವು ಬಹಳ ಕಡಿಮೆಯಾಗುತ್ತದೆ.
- Efficiency: 256 ಡೈಮೆನ್ಷನ್ಗಳು ಸಾಕಾಗುವಾಗ 2048 ಡೈಮೆನ್ಷನ್ಗಳನ್ನು ಬಳಸುವುದು ಸಂಪನ್ಮೂಲಗಳ ವ್ಯರ್ಥ ಮಾತ್ರ.
ಈ 2B ಮಾಡೆಲ್ MMEB-v2 ಲೀಡರ್ಬೋರ್ಡ್ನಲ್ಲಿ ಅನೇಕ ದೊಡ್ಡ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳಿಗಿಂತ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ. ಇದು ಈಗಾಗಲೇ ಪ್ರೊಡಕ್ಷನ್ ಘಟಕವಾಗಿದೆ—WeChat ತನ್ನ ಸರ್ಚ್, ಇ-ಕಾಮರ್ಸ್ ಮತ್ತು ಸೋಶಿಯಲ್ ಮೀಡಿಯಾಗಾಗಿ ಇದನ್ನು ಅವಲಂಬಿಸಿದೆ.
ದಾಖಲೆಗಳಿಗೆ ಹೆಚ್ಚಿನ ಸ್ಥಳಾವಕಾಶ ಬೇಕಾಗುತ್ತದೆ
ಸ್ಕ್ರೀನ್ಶಾಟ್ಗಳು ಮತ್ತು ಇತರ ದೃಶ್ಯ ದಾಖಲೆಗಳು (visual documents) ದಟ್ಟವಾದ ಪಠ್ಯ ಮತ್ತು ಸಂಕೀರ್ಣ ವಿನ್ಯಾಸಗಳನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಡೈಮೆನ್ಷನ್ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ಫೋಟೋಗಳಿಗಿಂತ ಇವುಗಳ ಮೇಲೆ ಹೆಚ್ಚು ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.
ಇದನ್ನು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು
- ನಿಮ್ಮ ಇಡೀ ವ್ಯವಸ್ಥೆಯನ್ನು ಒಮ್ಮೆಗೆ ಬದಲಾಯಿಸಬೇಡಿ.
- ನಿಮ್ಮ ಪ್ರಸ್ತುತ ವ್ಯವಸ್ಥೆಯು ಎಲ್ಲಿ ವಿಫಲವಾಗುತ್ತಿದೆಯೋ ಅಂತಹ 20 ಕ್ವೆರಿಗಳನ್ನು (queries) ಆರಿಸಿ—ಅವುಗಳಲ್ಲಿ ಸ್ಕ್ರೀನ್ಶಾಟ್ಗಳು, ಉತ್ಪನ್ನದ ಚಿತ್ರಗಳು ಮತ್ತು ದಾಖಲೆಗಳ ಪುಟಗಳ ಮಿಶ್ರಣವಿರಲಿ.
- ಆ ಕ್ವೆರಿಗಳನ್ನು 2B ಮಾಡೆಲ್ ಮೂಲಕ ರನ್ ಮಾಡಿ.
- ಫಲಿತಾಂಶಗಳು ಸುಧಾರಿಸಿದರೆ, ಬದಲಾವಣೆಯನ್ನು ಜಾರಿಗೆ ತರಬಹುದು. ಇಲ್ಲದಿದ್ದರೆ, ನೀವು ಸಮಯ ಮತ್ತು ಹಣವನ್ನು ಉಳಿಸಿದಂತೆ.
ಪ್ರತಿ ವಿಷಯದ ಪ್ರಕಾರಕ್ಕೆ (content type) ಒಂದು ಸ್ಕೋರ್ಕಾರ್ಡ್ ಅನ್ನು ಇಟ್ಟುಕೊಳ್ಳಿ. ಉತ್ಪನ್ನದ ಫೋಟೋಗಳು 256 ಡೈಮೆನ್ಷನ್ಗಳಲ್ಲಿ ಸರಿಯಾಗಿರಬಹುದು, ಆದರೆ PDF ಪುಟಗಳಿಗೆ ಹೆಚ್ಚಿನ ಕನಿಷ್ಠ ಡೈಮೆನ್ಷನ್ಗಳ ಅಗತ್ಯವಿರಬಹುದು.
Source: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd