Hugging Face પર સૌથી વધુ ડાઉનલોડ કરવામાં આવેલ મોડેલ કોઈ ચેટ-બોટ નથી – તે 2021નું 22-મિલિયન-પેરામીટર ધરાવતું sentence-embedding મોડેલ છે જેને 256 મિલિયન વખત ડાઉનલોડ કરવામાં આવ્યું છે. આ આંકડા એક સરળ વાર્તા કહે છે: મોટાભાગના વાસ્તવિક AI વર્કલોડ નાના, CPU-ફ્રેન્ડલી મોડેલ્સ પર ચાલે છે, હેડલાઇન્સમાં આવતા મોટા લેંગ્વેજ મોડેલ્સ (LLMs) પર નહીં.
પ્રોડક્શનમાં પ્રભુત્વ ધરાવતા ત્રણ મોડેલ્સ
all-MiniLM-L6-v2 – 256 મિલિયન ડાઉનલોડ્સ
આ 22 M-પેરામીટર મોડેલ ટેક્સ્ટના ટુકડાને ડેન્સ વેક્ટરમાં (dense vector) રૂપાંતરિત કરે છે. સમાનતા માપવા માટે આ વેક્ટરની અન્ય વેક્ટર્સ સાથે સરખામણી કરી શકાય છે, જે સિમેન્ટિક સર્ચ (semantic search), રેકમેન્ડેશન એન્જિન અને ડુપ્લીકેટ-ડિટેક્શન પાઇપલાઇન્સને સક્ષમ બનાવે છે.
તે દરેક જગ્યાએ કેમ છે:
- CPU પર ચાલે છે – કોઈ મોંઘા GPU ની જરૂર નથી.
- બેચ પ્રોસેસિંગ માટે ઝડપી – મિનિટોમાં લાખો વાક્યોને એમ્બેડ કરી શકે છે.
- સ્થાનિક રીતે હોસ્ટ કરવા માટે મફત – ક્લાઉડ-સર્વિસ ફી અને ડેટા-પ્રાઇવસીની ચિંતાઓ દૂર કરે છે.
cross-encoder/ms-marco-MiniLM-L6-v2 – 87 મિલિયન ડાઉનલોડ્સ
આ મોડેલ રી-રેન્કર (reranker) તરીકે કામ કરે છે. તે ક્વેરી અને ઉમેદવાર દસ્તાવેજને એકસાથે લે છે અને સુસંગતતા સ્કોર (relevance score) આપે છે. એક સામાન્ય RAG સ્ટેકમાં વર્કફ્લો કંઈક આવો દેખાય છે:
- ઝડપી તબક્કો – MiniLM ટોચના 50 ઉમેદવારો મેળવે છે.
- ચોક્કસ તબક્કો – cross-encoder દ્વારા તે 50 આઇટમ્સનું ફરીથી સ્કોરિંગ કરવાથી જવાબની ગુણવત્તા સુધરે છે.
મોડેલ પેજ પર "like" ની ઓછી સંખ્યા દર્શાવે છે કે મોટાભાગના વપરાશકર્તાઓ હબ બ્રાઉઝ કરવાને બદલે તેને પ્રોગ્રામમેટિકલી (programmatically) ઉપયોગમાં લે છે, પરંતુ ડાઉનલોડનું પ્રમાણ પુષ્ટિ કરે છે કે તે પ્રોડક્શન પાઇપલાઇન્સમાં ચોકસાઈ વધારવા માટેનું મુખ્ય (de-facto) સાધન છે.
amazon/chronos-2 – 35 મિલિયન ડાઉનલોડ્સ
Chronos-2 ટાઇમ-સીરીઝ ડેટાને ટેક્સ્ટની જેમ ગણે છે, જે એક સિંગલ ફાઉન્ડેશન મોડેલને કોઈપણ કાર્ય-વિશિષ્ટ તાલીમ વગર વેચાણ, સર્વર લોડ અથવા કોઈપણ ન્યુમેરિક સિગ્નલનું અનુમાન (forecast) કરવાની મંજૂરી આપે છે. એક વિશિષ્ટ ફોરકાસ્ટર (forecaster) માટે દસ મિલિયનમાં ડાઉનલોડ કાઉન્ટ "એકવાર તાલીમ આપો, ગમે ત્યાં ચલાવો" (train once, run anywhere) સોલ્યુશન્સ માટેની તીવ્ર માંગ દર્શાવે છે, ખાસ કરીને એવા સંગઠનોમાં જે અન્યથા દરેક મેટ્રિક માટે અલગ-અલગ મોડેલ્સ રાખતા હોય.
AI ટીમો માટે આ આંકડાઓનો અર્થ શું છે
ડાઉનલોડ ચાર્ટ્સ મીડિયાના હાઈપ અને ઓપરેશનલ વાસ્તવિકતા વચ્ચેનો તફાવત દર્શાવે છે. પ્રેસ રિલીઝમાં LLMsનું વર્ચસ્વ હોય છે, પરંતુ વાસ્તવિકતામાં સેવાઓને ઓનલાઇન રાખતા મુખ્ય કામદારો (workhorses) આ છે:
- Embedding models જે કાચા ટેક્સ્ટને સર્ચેબલ વેક્ટરમાં ફેરવે છે.
- Cross-encoders જે તે વેક્ટર્સને ચોક્કસ રેન્કિંગમાં સુધારે છે.
- Foundation forecasters જે એક જ મોડેલને અનેક ન્યુમેરિક સીરીઝ પર લાગુ કરે છે.
નિષ્કર્ષ સ્પષ્ટ છે: જો તમે એવું AI બનાવી રહ્યા છો જે મોટા પાયે (at scale) ચલાવવાનું હોય, તો હાઈપથી પર ધ્યાન આપો. Hugging Face ના ડાઉનલોડ ચાર્ટ્સમાં પ્રભુત્વ ધરાવતા મોડેલ્સ પ્રોડક્શન સિસ્ટમ્સને સતત કાર્યરત રાખે છે, અને તેઓ નક્કી કરશે કે વાસ્તવિક AI ખર્ચ ક્યાં વહેશે.