ఒకే RTX 5090 పై లోకల్గా నడిచే ఐదు LLM ఏజెంట్ల బెంచ్మార్క్, ఒక రియల్-వరల్డ్ కోడింగ్ టాస్క్లో 35-బిలియన్-పారామీటర్ మిక్చర్-ఆఫ్-ఎక్స్పర్ట్స్ (MoE) మోడల్ తన తోటి మోడళ్ల కంటే మెరుగైన పనితీరును కనబరిచిందని చూపుతోంది. ఎటువంటి క్లౌడ్ APIలు లేకుండా, ఇప్పటికే ఉన్న అడ్మిన్ ప్యానెల్కు Tag Managerను జోడించే ఈ పరీక్షలో, Qwen 3.6 35B-A3B స్పష్టమైన విజేతగా నిలిచింది.
ఈ పరీక్ష ఎందుకు ముఖ్యం
పర్సనల్ హార్డ్వేర్పై లార్జ్ లాంగ్వేజ్ మోడల్స్ను రన్ చేయడం వల్ల డెవలపర్లు API ఫీజులు మరియు డేటా-ప్రైవసీ ఆందోళనల నుండి తప్పించుకోవచ్చు. అయినప్పటికీ, "లోకల్ ఏజెంట్స్" అనేది ఇప్పటికీ ఒక బజ్ వర్డ్ (buzzword) గానే ఉంది: మనుషుల సహాయం లేకుండా అవి నిజంగా ఫైళ్లను ఎడిట్ చేయగలవా, కమాండ్-లైన్ టూల్స్ను పిలవగలవా మరియు ప్రొడక్షన్-రెడీ కోడ్ను అందించగలవా? క్లౌడ్ సర్వీసుల సహాయం లేకుండా చేసిన ఈ ప్రత్యక్ష పోలిక, ఈ సాంకేతికత ప్రస్తుతం ఏ స్థితిలో ఉందో డెవలపర్లకు స్పష్టమైన అవగాహనను ఇస్తుంది.
హార్డ్వేర్ మరియు టాస్క్
ఐదు మోడళ్లు కూడా ఒకే వర్క్స్టేషన్పై నడిచాయి: ఒక RTX 5090 GPU (ఇది సాధారణ హై-ఎండ్ కన్స్యూమర్ కార్డ్), మరియు ఎటువంటి బాహ్య సేవలు లేవు. ఈ టాస్క్ కావాలనే సరళంగా కానీ ప్రాతినిధ్యం వహించేలా రూపొందించబడింది – ఇప్పటికే నిర్మించిన అడ్మిన్ సెక్షన్కు Tag Manager కాంపోనెంట్ను జోడించడం. ఈ టాస్క్లో విజయం సాధించాలంటే, మోడల్ సరైన సోర్స్ ఫైళ్లను గుర్తించి, వాటిని ఎడిట్ చేయాలి మరియు కొత్త ఫీచర్ ఇప్పటికే ఉన్న ఫంక్షనాలిటీని దెబ్బతీయకుండా ఇంటిగ్రేట్ అయిందో లేదో ధృవీకరించాలి.
మోడల్ పనితీరు
- Qwen 3.6 35B-A3B (MoE) – స్వతంత్రంగా పనిని పూర్తి చేసింది, అడగనిప్పటికీ ఉపయోగకరమైన మెరుగుదలలను జోడించింది మరియు రన్ అయిన తర్వాత ఎటువంటి ప్యాచ్ల అవసరం లేకుండానే పని పూర్తి చేసింది.
- Qwen 3.6 27B (dense) – టాస్క్ను పూర్తి చేసింది కానీ దాదాపు రెట్టింపు ఇంటరాక్షన్ స్టెప్స్ తీసుకుంది మరియు అప్పుడప్పుడు సూచనలను తప్పుగా అర్థం చేసుకుంది.
- GLM-4.7-Flash (dense) – పనిచేసే ఇంప్లిమెంటేషన్ను అందించింది కానీ తప్పుగా ఫైల్-మ్యాచ్ ప్యాటర్న్స్ను ఉపయోగించింది మరియు సెక్యూరిటీ చెక్లను వదిలివేసింది, దీనివల్ల కోడ్ ప్రమాదకరంగా మారింది.
- Qwythos-9B – ఎటువంటి రియల్ టూల్స్ను అమలు చేయలేదు; ఈ వైఫల్యం మోడల్ వల్ల లేదా లోకల్ సెటప్ వల్ల జరిగి ఉండవచ్చు, కానీ పరీక్ష ద్వారా దానికి గల ఖచ్చితమైన కారణాన్ని గుర్తించలేకపోయారు.
- Nemotron-3-Nano (hybrid) – ఒక లూప్లో చిక్కుకుపోయింది, ఇప్పటికే కనుగొన్న ఫోల్డర్ కోసం 40 సార్లు వెతుకుతూనే ఉంది మరియు ఆ పాయింట్ దాటి ముందుకు సాగలేదు.
ఫలితాలు ఏమి చెబుతున్నాయి
ఆర్కిటెక్చర్ అనేది నమ్మదగిన సూచిక కాదు
తన పారామీటర్లను బహుళ ఎక్స్పర్ట్ సబ్-నెట్వర్క్లుగా విభజించే MoE మోడల్ స్పష్టమైన విజయాన్ని సాధించింది, అయితే డెన్స్ (dense) మరియు హైబ్రిడ్ (hybrid) వెర్షన్లు విజయం మరియు వైఫల్యం మధ్య విడిపోయాయి. కేవలం ఆర్కిటెక్చర్ ఎంపికలు మాత్రమే టూల్-యూజ్ సామర్థ్యాన్ని (tool-use competence) గ్యారెంటీ ఇవ్వలేవని ఇది సూచిస్తోంది.
టూల్ వినియోగం ఇంకా ఒక పెద్ద అడ్డంకిగానే ఉంది
పరీక్ష కోసం అందించిన ప్రత్యేక స్క్రీన్షాట్ టూల్ను ఐదు ఏజెంట్లలో ఏదీ ఉపయోగించలేదు. ఫైల్ పేర్లను ఊహించడం ద్వారా లేదా పరోక్ష పద్ధతులను ప్రయత్నించడం ద్వారా అన్నీ స్వయంగా ఏదో ఒకటి చేయాలని చూశాయి. "కోడ్ జనరేట్ చేయగలగడం" మరియు "బాహ్య యుటిలిటీలను సమన్వయం చేయగలగడం" మధ్య ఉన్న వ్యత్యాసం ఇంకా ఎక్కువగా ఉంది.
లోకల్గా రన్ చేయడం అంటే కేవలం మోడల్నే కాదు, మొత్తం స్టాక్ను డీబగ్ చేయడం అని అర్థం
పరీక్ష ప్రారంభం కావడానికి ముందే రెండు మోడళ్ల ప్రాంప్ట్ టెంప్లేట్లకు తక్షణమే ప్యాచ్లు (on-the-fly patches) అవసరమయ్యాయి. మోడల్-స్పెసిఫిక్ బగ్స్ను సరిచేయడానికి చేసిన ప్రయత్నం, అసలు Tag Manager కోడ్ను రాయడానికి తీసుకున్న సమయం కంటే ఎక్కువగా ఉంది, ఇది ప్రస్తుత లోకల్ డిప్లాయ్మెంట్లు ఎంత సున్నితంగా (fragile) ఉన్నాయో తెలియజేస్తోంది.
ఒక హెచ్చరిక
ఈ బెంచ్మార్క్ ఒకే హార్డ్వేర్ కాన్ఫిగరేషన్, ఒకే కోడింగ్ సినారియో మరియు కొన్ని మోడళ్లను మాత్రమే ప్రతిబింబిస్తుంది. Qwen 3.6 35B-A3B గతంలో ఒక రౌండ్లో విఫలమైంది; దాని పాత వైఫల్యం కేవలం ఒక యాదృచ్ఛికం (fluke) మాత్రమే. కాబట్టి, ఈ ఫలితాలు కేవలం సూచికలు మాత్రమే, ఇవి అంతిమమైనవి కావు.
తదుపరి ఏం గమనించాలి
భవిష్యత్తు రౌండ్లలో టాస్క్ సెట్ను విస్తరించడం, మరింత వైవిధ్యమైన టూల్చైన్లను చేర్చడం మరియు విస్తృత శ్రేణి హార్డ్వేర్లపై పరీక్షించడం అవసరం. MoE మోడళ్లు నిరంతరం డెన్స్ మరియు హైబ్రిడ్ డిజైన్ల కంటే మెరుగ్గా పనిచేస్తున్నాయా మరియు డెవలపర్లు మాన్యువల్ బగ్-ప్యాచింగ్ అవసరం లేకుండా నమ్మదగిన రాపర్లను (wrappers) నిర్మించగలరా అనేది పరిశీలకులు గమనించాలి.
ముఖ్య అంశం: 35B MoE మోడల్ ఇప్పటికే సమర్థవంతమైన లోకల్ కోడింగ్ అసిస్టెంట్గా పనిచేయగలదు, కానీ విస్తృతమైన ఎకోసిస్టమ్—టూల్ ఇంటిగ్రేషన్, ప్రాంప్ట్ ఇంజనీరింగ్ మరియు స్టేబుల్ రన్టైమ్స్—ఇంకా వెనుకబడి ఉన్నాయి. ఈ అంశాలన్నీ సరిగ్గా అమరే వరకు, డెవలపర్లు "ప్లగ్-అండ్-ప్లే" లోకల్ ఏజెంట్లపై తమ అంచనాలను తగ్గించుకోవాలి.