Hugging Face-இல் அதிகப்படியாகப் பதிவிறக்கம் செய்யப்பட்ட மாடல் ஒரு சாட்பாட் (chat-bot) கிடையாது – அது 2021-ஆம் ஆண்டைச் சேர்ந்த 22 மில்லியன் அளவுருக்களைக் (parameters) கொண்ட ஒரு sentence-embedding மாடல், இது 256 மில்லியன் முறை பதிவிறக்கம் செய்யப்பட்டுள்ளது. இந்த எண்கள் ஒரு எளிய உண்மையைக் கூறுகின்றன: பெரும்பாலான நிஜ உலக AIப் பணிகள், செய்திகளில் அதிகம் பேசப்படும் பெரிய மொழி மாதிரிகளை (LLMs) விட, சிறிய மற்றும் CPU-friendly மாடல்களிலேயே இயங்குகின்றன.
உற்பத்தியில் (production) ஆதிக்கம் செலுத்தும் மூன்று மாடல்கள்
all-MiniLM-L6-v2 – 256 மில்லியன் பதிவிறக்கங்கள்
இந்த 22 M-parameter மாடல் ஒரு உரைத் துண்டைத் (text) அடர்த்தியான வெக்டராக (dense vector) மாற்றுகிறது. இந்த வெக்டரை மற்றவற்றுடன் ஒப்பிட்டு ஒற்றுமையை அளவிட முடியும், இது semantic search, பரிந்துரை இயந்திரங்கள் (recommendation engines) மற்றும் நகல் கண்டறிதல் வழிமுறைகளுக்கு (duplicate-detection pipelines) வலுசேர்க்கிறது.
இது ஏன் எங்கும் காணப்படுகிறது:
- CPU-இல் இயங்கும் – விலையுயர்ந்த GPU தேவையில்லை.
- Batch processing-க்கு வேகமானது – சில நிமிடங்களில் மில்லியன் கணக்கான வாக்கியங்களை embed செய்ய முடியும்.
- உள்ளூர் அளவில் (locally) இலவசமாகப் பயன்படுத்தலாம் – இது கிளவுட் சேவை கட்டணங்களையும் தரவுத் தனியுரிமை (data-privacy) கவலைகளையும் தவிர்க்கிறது.
cross-encoder/ms-marco-MiniLM-L6-v2 – 87 மில்லியன் பதிவிறக்கங்கள்
இந்த மாடல் ஒரு reranker ஆகச் செயல்படுகிறது. இது ஒரு வினவல் (query) மற்றும் ஒரு சாத்தியமான ஆவணத்தை (candidate document) ஒன்றாக எடுத்துக்கொண்டு, அதன் பொருத்தப்பாட்டு மதிப்பெண்ணைத் (relevance score) தருகிறது. ஒரு பொதுவான RAG stack-இல் பணிப்பாய்வு (workflow) இவ்வாறு இருக்கும்:
- வேகமான நிலை (Fast stage) – MiniLM சிறந்த 50 சாத்தியக்கூறுகளைப் (candidates) பெறுகிறது.
- துல்லியமான நிலை (Accurate stage) – அந்த 50 உருப்படிகளையும் cross-encoder மீண்டும் மதிப்பிடுவது (rescoring) பதிலின் தரத்தை மேம்படுத்துகிறது.
மாடல் பக்கத்தில் குறைந்த எண்ணிக்கையிலான "like"-கள், பெரும்பாலான பயனர்கள் ஹப்-ஐ (hub) தேடிப் பார்ப்பதற்குப் பதிலாக, நிரலாக்க ரீதியாகவே (programmatically) இதைப் பயன்படுத்துகிறார்கள் என்பதைக் காட்டுகிறது. ஆனால், பதிவிறக்கங்களின் அளவு, உற்பத்தி வழிமுறைகளில் (production pipelines) துல்லியத்தை அதிகரிப்பதற்கான முதன்மையான கருவியாக (de-facto tool) இது இருப்பதை உறுதிப்படுத்துகிறது.
amazon/chronos-2 – 35 மில்லியன் பதிவிறக்கங்கள்
Chronos-2 ஆனது time-series தரவை உரையைப் போலவே கையாளுகிறது, இது ஒரு ஒற்றை foundation model மூலம் விற்பனை, சர்வர் சுமை அல்லது எந்தவொரு எண் சிக்னலையும் (numeric signal) குறிப்பிட்ட பயிற்சி இன்றி முன்னறிவிக்க (forecast) அனுமதிக்கிறது. ஒரு சிறப்பு முன்னறிவிப்பு கருவிக்கு (specialized forecaster) பல மில்லியன் பதிவிறக்கங்கள் இருப்பது, "ஒருமுறை பயிற்றுவித்து, எங்கும் இயக்கலாம்" (train once, run anywhere) என்ற தீர்வுகளுக்கான வலுவான தேவையை உணர்த்துகிறது; குறிப்பாக ஒவ்வொரு அளவீட்டிற்கும் தனித்தனி மாடல்களைப் பராமரிக்க வேண்டியிருக்கும் நிறுவனங்களில் இது மிகவும் முக்கியமானது.
AI குழுக்களுக்கு இந்த எண்கள் எதைக் குறிக்கின்றன
பதிவிறக்க வரைபடங்கள் ஊடகப் பரபரப்பிற்கும் (media hype) செயல்பாட்டு உண்மைக்கும் (operational reality) இடையிலான இடைவெளியை வெளிப்படுத்துகின்றன. செய்தி வெளியீடுகளில் LLM-கள் ஆதிக்கம் செலுத்தினாலும், சேவைகளைத் தொடர்ந்து இயங்க வைக்கும் உண்மையான உழைப்பாளிகள் (workhorses) இவைதான்:
- Embedding models – இவை மூல உரையைத் தேடக்கூடிய வெக்டர்களாக மாற்றுகின்றன.
- Cross-encoders – இவை அந்த வெக்டர்களைத் துல்லியமான தரவரிசைகளாக (rankings) மாற்றுகின்றன.
- Foundation forecasters – இவை பல எண் தொடர்களில் (numeric series) ஒரே மாடலைப் பயன்படுத்துகின்றன.
இதிலிருந்து நாம் அறிவது தெளிவானது: நீங்கள் பெரிய அளவில் (at scale) இயங்கக்கூடிய AI-ஐ உருவாக்குகிறீர்கள் என்றால், வெறும் பரபரப்புகளைத் தாண்டிப் பாருங்கள். Hugging Face-இன் பதிவிறக்கப் பட்டியலில் முன்னணியில் இருக்கும் மாடல்களே உற்பத்தி அமைப்புகளைத் தடையின்றி இயங்க வைக்கின்றன, மேலும் உண்மையான AI முதலீடுகள் எங்குச் செல்லும் என்பதைத் தீர்மானிப்பதிலும் இவை தொடர்ந்து முக்கியப் பங்கு வகிக்கும்.