WeMM-Embedding 2B: Kies 256 dimensies in plaats van 2048
De meeste mensen pakken een embedding-model en dumpen de vector met de volledige grootte direct in hun pipeline. Stop daarmee.
WeMM-Embedding van Tencent verwerkt tekst, afbeeldingen, video en documenten. De versie met 2 miljard parameters is klaar voor productie.
De belangrijkste functie is Matryoshka embeddings—met één enkele pass kunnen vectoren van 64, 128, 256, 512, 1024 of 2048 dimensies worden gegenereerd.
Waarom kleinere vectoren belangrijk zijn
- Prestaties: Bij 256 dimensies behouden taken met afbeeldingen en video 98,7% van de nauwkeurigheid van de versie met 2048 dimensies.
- Snelheid: Kleinere vectoren zorgen ervoor dat je indexen in een fractie van de tijd kunt herbouwen.
- Kosten: Je geeft veel minder uit aan opslag en geheugen.
- Efficiëntie: Het gebruik van 2048 dimensies wanneer 256 volstaat, is pure verspilling van resources.
Het 2B-model staat bovenaan veel grotere concurrenten op de MMEB-v2 leaderboard. Het is al een onderdeel van de productie—WeChat vertrouwt erop voor zoekopdrachten, e-commerce en sociale media.
Documenten hebben meer ruimte nodig
Screenshots en andere visuele documenten bevatten dichte tekst en ingewikkelde lay-outs. Het verminderen van het aantal dimensies heeft bij hen meer impact dan bij foto's.
Hoe je het kunt testen
- Overhaal niet meteen je hele systeem.
- Kies 20 zoekopdrachten waarbij je huidige systeem moeite heeft—mix screenshots, productafbeeldingen en documentpagina's.
- Voer deze zoekopdrachten uit met het 2B-model.
- Als de resultaten verbeteren, voer de wijziging dan door. Zo niet, dan heb je tijd en geld bespaard.
Houd per type content een scorelijst bij. Productfoto's werken misschien prima met 256 dimensies, terwijl PDF-pagina's mogelijk een hoger minimum nodig hebben.
Bron: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd