మూడు Claude మోడల్స్తో ఒక సోలో డెవలపర్ చేసిన ప్రయోగం నెలవారీ API ఖర్చులను 35% తగ్గించడమే కాకుండా, సగటు టాస్క్ లాటెన్సీని (latency) 42 సెకన్ల నుండి 27 సెకన్లకు తగ్గించింది. సరళమైన, తక్కువ అస్పష్టత (low-ambiguity) ఉన్న పనులను తక్కువ ధర కలిగిన Haiku మోడల్కు, సాధారణ పనులను Sonnetకు పంపిస్తూ, అత్యంత క్లిష్టమైన సమస్యల కోసం భారీ Opus మోడల్ను కేటాయించడం ద్వారా, "ప్రతిదానికీ ఉత్తమమైన మోడల్" వాడటం అనేది ఖరీదైన అలవాటు అని రచయిత నిరూపించారు.
రూటింగ్ ఎందుకు ముఖ్యం
రచయిత ఒక స్వయంప్రతిపత్తి కలిగిన (autonomous) కోడింగ్ ఏజెంట్ను నడుపుతున్నారు, ఇది నిరంతరం డెవలప్మెంట్ టాస్క్లను—lint ఫిక్స్లు, ఫీచర్ జోడింపులు, సెక్యూరిటీ రివ్యూలు మరియు డీప్ డీబగ్గింగ్ సెషన్లను అందుకుంటుంది. నాణ్యత ఎప్పుడూ ధర కంటే ముఖ్యమని భావిస్తూ, నెలల తరబడి ఆ ఏజెంట్ ప్రతి రిక్వెస్ట్ను అత్యంత సామర్థ్యం కలిగిన Claude మోడల్ అయిన Opusకి పంపేది. Opus ప్రతి టోకెన్కు ప్రీమియం ధరను కలిగి ఉంటుంది, దీనివల్ల బిల్లు అదుపు లేకుండా పెరిగిపోయింది.
రచయిత ఒక క్రమానుగత రూటింగ్ విధానాన్ని (tiered routing scheme) ప్రవేశపెట్టినప్పుడు, ఖర్చు అసలు స్థాయిలో 65%కి పడిపోయింది మరియు మొత్తం టాస్క్లలో Opus వినియోగం 11%కి తగ్గింది.
ఈ త్రీ-టైర్ (three-tier) సిస్టమ్ ఎలా పనిచేస్తుంది
ఈ రూటింగ్ లాజిక్ టాస్క్ ఎన్ని లైన్ల కోడ్ను ప్రభావితం చేస్తుంది అనే దానిపై కాకుండా, అస్పష్టత (ambiguity) పై ఆధారపడి ఉంటుంది. రచయిత మూడు కేటగిరీలను (buckets) నిర్వచించారు:
- Haiku – తక్కువ అస్పష్టత, నిర్దిష్టమైన (deterministic) పనులు. ఉదాహరణలు: lint వార్నింగ్లను సరిచేయడం, వేరియబుల్స్ను రీనేమ్ చేయడం, లాగ్ ఫైల్లను సారాంశం చేయడం. సరైన సమాధానం సాధారణంగా ఒకే లైన్ కోడ్ లేదా టెక్స్ట్ రూపంలో ఉంటుంది.
- Sonnet – డిఫాల్ట్ వర్క్హోర్స్. ఫీచర్ ఇంప్లిమెంటేషన్, సాధారణ బగ్ ఫిక్స్లు మరియు స్టాండర్డ్ రిఫ్యాక్టర్లను ఇది నిర్వహిస్తుంది; ఇక్కడ సమస్య స్పష్టంగా ఉంటుంది కానీ పరిష్కారం కోసం కొన్ని దశలు అవసరం కావచ్చు.
- Opus – అత్యంత కీలకమైన, అధిక అస్పష్టత కలిగిన పనులు. ఆర్కిటెక్చర్ నిర్ణయాలు, సెక్యూరిటీ ఆడిట్లు, సంక్లిష్టమైన డీబగ్గింగ్ సెషన్లు, లేదా సరైన మార్గం స్పష్టంగా లేని మరియు చిన్న తప్పు జరిగినా పైప్లైన్ దెబ్బతినే అవకాశం ఉన్న ఏ టాస్క్ అయినా దీనికి వస్తుంది.
ఒక స్టాటిక్ లుకప్ టేబుల్ (static lookup table) ఈ నియమాల ఆధారంగా ప్రతి రిక్వెస్ట్ను తగిన మోడల్కు మ్యాప్ చేస్తుంది. రచయిత రిక్వెస్ట్ వచ్చిన వెంటనే ఏ టైర్కు పంపాలో నిర్ణయించే ఒక "స్మార్ట్" మోడల్ను ప్రయత్నించారు, కానీ అదనపు టోకెన్ వినియోగం వల్ల ఆదా అయిన మొత్తం ఖర్చు మళ్ళీ పెరిగిపోయింది. సాధారణ స్టాటిక్ నియమాలు సుమారు 80% పనిభారాన్ని కవర్ చేశాయి మరియు సిస్టమ్ను తక్కువ ఖర్చుతో, ఊహించదగిన విధంగా (predictable) ఉంచాయి.
ఎస్కలేషన్ సేఫ్టీ నెట్ (The escalation safety net)
తక్కువ ధర కలిగిన మోడల్స్ కూడా తప్పులు చేయవచ్చు. Haiku లేదా Sonnet ఇచ్చే తప్పు సమాధానం బిల్డ్ ప్రక్రియను దెబ్బతీయకుండా ఉండటానికి, రెండుసార్లు విఫలమైన తర్వాత సిస్టమ్ ఆ రిక్వెస్ట్ను తదుపరి టైర్కు ఎస్కేలేట్ (escalate) చేస్తుంది. ఈ సేఫ్టీ నెట్ తప్పులను త్వరగా పసిగడుతుంది మరియు మాన్యువల్ జోక్యం లేకుండా పైప్లైన్ సాఫీగా సాగేలా చేస్తుంది.
గణాంకాలు ఏం చెబుతున్నాయి
త్రీ-టైర్ రూటర్ను నాలుగు వారాల పాటు నడిపిన తర్వాత, రచయిత ఈ మార్పులను గమనించారు:
- API ఖర్చు అసలు ఖర్చులో 65%కి పడిపోయింది (35% తగ్గింపు).
- సగటు టర్నఅవుండ్ టైమ్ (Median turnaround time) 42 సెకన్ల నుండి 27 సెకన్లకు తగ్గింది.
- Opus వినియోగం ప్రతి రిక్వెస్ట్ను హ్యాండిల్ చేయడం నుండి మొత్తం టాస్క్లలో కేవలం 11%కి తగ్గింది.
నాణ్యతలో పెద్దగా తగ్గుదల లేకుండానే చాలా డెవలప్మెంట్ పనులను తక్కువ ధర కలిగిన మోడల్స్కు అప్పగించవచ్చని, అదే సమయంలో అత్యంత కష్టమైన సమస్యలకు Opus యొక్క పెద్ద కాంటెక్స్ట్ విండో (context window) ప్రయోజనకరంగా ఉంటుందని ఈ గణాంకాలు చూపుతున్నాయి.
ఇతర డెవలపర్ల కోసం పాఠాలు
- తక్కువతో ప్రారంభించండి, ఎక్కువతో కాదు. రోజువారీ కోడింగ్ పనుల కోసం అత్యంత శక్తివంతమైన మోడల్ అవసరం లేదు. అస్పష్టమైన పనులకు Sonnetను డిఫాల్ట్గా వాడటం వల్ల, అన్నింటినీ Haiku ద్వారా పంపడం కంటే ఎక్కువ డబ్బు ఆదా అయింది.
- కష్టాన్ని కొలవండి, పరిమాణాన్ని కాదు. ఒక ఫైల్ను మొత్తం రిఫ్యాక్టర్ చేయడం కంటే ఒకే లైన్ రేస్-కండిషన్ (race-condition) ఫిక్స్ చేయడం కష్టంగా ఉండవచ్చు. ఎన్ని లైన్లు మారాయి అనే దానిపై కాకుండా, పరిష్కారం ఎంత అస్పష్టంగా ఉంది అనే దాని ఆధారంగా రూట్ చేయండి.
- ఎస్కలేషన్ రేటును గమనించండి. ఎస్కలేషన్ల సంఖ్య పెరుగుతుంటే, స్టాటిక్ నియమాలు పనిభారానికి సరిపోవడం లేదని అర్థం. తక్కువ ధర కలిగే మోడల్స్ పైప్లైన్ వైఫల్యాలకు కారణం కావకముందే కేటగిరీలను (buckets) సర్దుబాటు చేయండి.
అత్యంత ఖరీదైన మోడల్ను కష్టమైన సమస్యల కోసం కేటాయించి, మిగిలిన వాటిని తక్కువ ధర కలిగిన మోడల్స్కు వదిలేయడం వల్ల AI-అసిస్టెడ్ డెవలప్మెంట్ వేగంగా మరియు తక్కువ ఖర్చుతో సాగుతుంది. సరైన పనికి సరైన సాధనాన్ని అందించే క్రమబద్ధమైన రూటింగ్ వ్యూహంలోనే అసలైన ప్రయోజనం ఉంది.