10 డాలర్ల చిప్పై 180M-పారామీటర్ LLM
p-for-llm అనే కొత్త ప్రాజెక్ట్ అద్భుతమైన పని చేస్తోంది. ఇది ESP32-P4 మైక్రోకంట్రోలర్పై 180.9 మిలియన్ పారామీటర్ల మోడల్ను నడుపుతుంది. ఈ చిప్ ధర ఆరు నుండి పది డాలర్ల మధ్య ఉంటుంది.
చిన్న చిప్లపై వచ్చే మెజారిటీ వైరల్ AI ప్రాజెక్ట్లు సాధారణ పనులపైనే దృష్టి పెడతాయి. అవి చిన్న కథలు రాసే మోడల్ను ప్రదర్శిస్తాయి. అటువంటి మోడల్స్లో తరచుగా పారామీటర్లు చాలా తక్కువగా ఉంటాయి మరియు వాటికి నిజమైన ఉపయోగం ఉండదు.
p-for-llm భిన్నమైనది. ఇది ఉపయోగకరంగా ఉండటమే లక్ష్యంగా పెట్టుకుంది.
ఇది ఎలా పనిచేస్తుందంటే:
- ఇది Mixture-of-Experts (MoE) ఆర్కిటెక్చర్ను ఉపయోగిస్తుంది.
- ప్రతి టోకెన్ కోసం, రూటర్ 29 మంది నిపుణులలో (experts) ఒకరిని ఎంచుకుంటుంది.
- మిగిలిన 28 మంది నిపుణులు నిష్క్రియంగా (dark) ఉంటారు.
- ఇది అధిక జ్ఞానాన్ని (knowledge) కాపాడుతూనే, కంప్యూట్ పవర్ను ఆదా చేస్తుంది.
- మోడల్ను చిన్న మెమరీలోకి సరిపోయేలా చేయడానికి ఇది ternary weights ఉపయోగిస్తుంది.
- ఈ మోడల్ సెకనుకు సుమారు 9 టోకెన్లను ఉత్పత్తి చేస్తుంది.
దీని శిక్షణ ప్రక్రియ (training process) కూడా గమనార్హం. డెవలపర్ ఒకే ఒక RTX 5060 Ti కన్స్యూమర్ గ్రాఫిక్స్ కార్డ్ను ఉపయోగించారు. ఇక్కడ భారీ ల్యాబ్ లేదా పెద్ద బడ్జెట్ ఏమీ లేదు. కేవలం ఒక మధ్యస్థ స్థాయి (mid-range) GPU మరియు ఓపిక ఉన్న ఒక వ్యక్తి మాత్రమే ఉన్నారు.
మీరు తెలుసుకోవలసిన ఒక చిన్న సమస్య ఉంది. ఈ మోడల్ ఇంకా పూర్తిగా స్వయంప్రతిపత్తి (autonomous) కలిగి లేదు. మీరు స్టార్టప్ సమయంలో USB ద్వారా బోర్డుకు వెయిట్స్ను (weights) పంపాల్సి ఉంటుంది. ఇది ఇంకా SD కార్డ్ నుండి లోడ్ అయ్యే స్టాండ్అలోన్ పరికరం కాదు.
ఇది ఇంకా క్లౌడ్ డెమో కాదు. గణనలు (math) చిప్పై స్థానికంగానే (locally) జరుగుతాయి. డేటాను కేవలం సర్వర్కు స్ట్రీమ్ చేసే ప్రాజెక్ట్ల కంటే ఇది ఒక పెద్ద అడుగు.
ఇది ఎందుకు ముఖ్యం?
చిన్న మోడల్లు సాధారణంగా ఒక పరిమితిని (wall) చేరుకుంటాయి. అవి ఆకర్షణీయంగా ఉండవచ్చు కానీ సూచనలను (instructions) పాటించలేవు. p-for-llm ఆ పరిమితిని దాటడానికి ప్రయత్నిస్తోంది. ఇది ChatML ప్రాంప్ట్లను సపోర్ట్ చేస్తుంది మరియు tool calling యొక్క ప్రాథమిక సంకేతాలను చూపుతుంది.
నిజమైన పురోగతి తరచుగా నిశ్శబ్దంగా జరుగుతుందని ఈ ప్రాజెక్ట్ చూపిస్తుంది. వైరల్ ప్రాజెక్ట్లు వార్తలను (headlines) వెంటాడుతుంటే, సీరియస్ బిల్డర్లు తమ పరిమితులను మరియు వివరాలను (footnotes) ప్రచురిస్తారు.
ఈ గణాంకాలను ధృవీకరించడానికి నేను వ్యక్తిగతంగా ఈ హార్డ్వేర్ను పరీక్షించబోతున్నాను.
Optional learning community: https://t.me/GyaanSetuAi