WeMM-Embedding 2B: Pilih 256 Dimensi Daripada 2048
Kebanyakan orang mengambil model embedding dan langsung memasukkan vektor ukuran penuh ke dalam pipeline mereka. Berhentilah melakukan itu.
WeMM-Embedding milik Tencent menangani teks, gambar, video, dan dokumen. Versi 2 miliar parameternya sudah siap untuk produksi.
Fitur utamanya adalah Matryoshka embeddings—satu kali proses dapat menghasilkan vektor berdimensi 64, 128, 256, 512, 1024, atau 2048.
Mengapa vektor yang lebih kecil itu penting
- Performa: Pada 256 dimensi, tugas gambar dan video mempertahankan 98,7% akurasi dari versi 2048-dimensi.
- Kecepatan: Vektor yang lebih kecil memungkinkan Anda membangun ulang indeks dalam waktu yang jauh lebih singkat.
- Biaya: Anda menghabiskan jauh lebih sedikit untuk penyimpanan dan memori.
- Efisiensi: Menggunakan 2048 dimensi saat 256 sudah cukup hanya akan membuang-buang sumber daya.
Model 2B ini mengungguli banyak kompetitor yang lebih besar di papan peringkat MMEB-v2. Ini sudah menjadi komponen produksi—WeChat mengandalkannya untuk pencarian, e-commerce, dan media sosial.
Dokumen membutuhkan lebih banyak ruang
Tangkapan layar dan dokumen visual lainnya mengandung teks yang padat dan tata letak yang rumit. Mengurangi dimensi akan lebih berdampak buruk pada dokumen tersebut dibandingkan pada foto.
Cara mengujinya
- Jangan merombak seluruh sistem Anda sekaligus.
- Pilih 20 kueri di mana pengaturan Anda saat ini mengalami kendala—campurkan tangkapan layar, gambar produk, dan halaman dokumen.
- Jalankan kueri tersebut melalui model 2B.
- Jika hasilnya membaik, terapkan perubahannya. Jika tidak, Anda telah menghemat waktu dan uang.
Buatlah skor penilaian untuk setiap jenis konten. Foto produk mungkin sudah cukup pada 256 dimensi, sementara halaman PDF mungkin membutuhkan batas minimum yang lebih tinggi.
Sumber: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd