10-डॉलर की चिप पर 180M-पैरामीटर वाला LLM
p-for-llm नामक एक नया प्रोजेक्ट कुछ प्रभावशाली कर रहा है। यह ESP32-P4 माइक्रोकंट्रोलर पर 180.9 मिलियन पैरामीटर वाला मॉडल चलाता है। इस चिप की कीमत छह से दस डॉलर के बीच है।
छोटी चिप्स पर अधिकांश वायरल AI प्रोजेक्ट्स सरल कार्यों पर ध्यान केंद्रित करते हैं। वे एक ऐसा मॉडल दिखाते हैं जो छोटी कहानियाँ लिखता है। उन मॉडल्स में अक्सर बहुत कम पैरामीटर होते हैं और उनका कोई वास्तविक उपयोग नहीं होता।
p-for-llm अलग है। इसका लक्ष्य उपयोगिता है।
यह इस प्रकार काम करता है:
- यह Mixture-of-Experts (MoE) आर्किटेक्चर का उपयोग करता है।
- प्रत्येक टोकन के लिए, राउटर 29 में से एक एक्सपर्ट चुनता है।
- अन्य 28 एक्सपर्ट्स निष्क्रिय रहते हैं।
- यह उच्च ज्ञान बनाए रखते हुए कंप्यूटिंग पावर बचाता है।
- यह मॉडल को छोटी मेमोरी में फिट करने के लिए ternary weights का उपयोग करता है।
- मॉडल प्रति सेकंड लगभग 9 टोकन जेनरेट करता है।
प्रशिक्षण प्रक्रिया भी उल्लेखनीय है। डेवलपर ने एक सिंगल RTX 5060 Ti कंज्यूमर ग्राफिक्स कार्ड का उपयोग किया। यहाँ कोई विशाल लैब या भारी बजट नहीं है। बस एक मिड-रेंज GPU और धैर्य वाला एक व्यक्ति है।
एक बात है जो आपको जाननी चाहिए। मॉडल अभी पूरी तरह से स्वायत्त (autonomous) नहीं है। आपको स्टार्टअप के समय USB के माध्यम से बोर्ड पर weights पुश करने होंगे। यह अभी तक ऐसा स्टैंडअलोन डिवाइस नहीं है जो SD कार्ड से लोड हो सके।
यह अभी भी क्लाउड डेमो नहीं है। गणना चिप पर स्थानीय रूप से होती है। यह उन प्रोजेक्ट्स से एक बड़ा कदम है जो केवल सर्वर पर डेटा स्ट्रीम करते हैं।
यह क्यों मायने रखता है?
छोटे मॉडल आमतौर पर एक सीमा पर आकर रुक जाते हैं। वे आकर्षक हो सकते हैं लेकिन वे निर्देशों का पालन नहीं कर सकते। p-for-llm उस सीमा को पार करने का प्रयास करता है। यह ChatML प्रॉम्प्ट्स को सपोर्ट करता है और tool calling के शुरुआती संकेत दिखाता है।
यह प्रोजेक्ट दिखाता है कि वास्तविक प्रगति अक्सर शांति से होती है। जहाँ वायरल प्रोजेक्ट्स सुर्खियों के पीछे भागते हैं, वहीं गंभीर निर्माता अपनी सीमाओं और बारीकियों को प्रकाशित करते हैं।
मैं इन आंकड़ों की पुष्टि करने के लिए व्यक्तिगत रूप से इस हार्डवेयर का परीक्षण करूँगा।
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi