WeMM-Embedding 2B: Scegli 256 dimensioni invece di 2048
La maggior parte delle persone prende un modello di embedding e inserisce il vettore a dimensione intera nella propria pipeline. Smetti di farlo.
Il WeMM-Embedding di Tencent gestisce testo, immagini, video e documenti. La sua versione da 2 miliardi di parametri è pronta per la produzione.
La caratteristica principale sono gli embedding Matryoshka: un singolo passaggio può generare vettori da 64, 128, 256, 512, 1024 o 2048 dimensioni.
Perché i vettori più piccoli sono importanti
- Performance: a 256 dimensioni, i task relativi a immagini e video mantengono il 98,7% dell'accuratezza della versione da 2048 dimensioni.
- Velocità: i vettori più piccoli ti permettono di ricostruire gli indici in una frazione del tempo.
- Costi: si spende molto meno in termini di archiviazione e memoria.
- Efficienza: usare 2048 dimensioni quando ne bastano 256 significa solo sprecare risorse.
Il modello 2B supera molti competitor più grandi nella classifica MMEB-v2. È già un componente di produzione: WeChat si affida ad esso per la ricerca, l'e-commerce e i social media.
I documenti hanno bisogno di più spazio
Gli screenshot e altri documenti visivi contengono testi densi e layout complessi. Ridurre le dimensioni li penalizza più delle foto.
Come testarlo
- Non stravolgere l'intero sistema tutto in una volta.
- Scegli 20 query in cui la tua configurazione attuale fatica: mescola screenshot, immagini di prodotti e pagine di documenti.
- Esegui queste query attraverso il modello 2B.
- Se i risultati migliorano, implementa la modifica. In caso contrario, avrai risparmiato tempo e denaro.
Mantieni una tabella di valutazione per ogni tipo di contenuto. Le foto dei prodotti potrebbero andare bene con 256 dimensioni, mentre le pagine PDF potrebbero richiedere un minimo più elevato.
Fonte: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd