१२ प्रश्नांच्या चाचणीमध्ये, Bash wrappers ने सात-स्कीमा असलेल्या Model Context Protocol (MCP) पेक्षा जास्त टोकन्स वापरले, ज्यावरून असे दिसून येते की शेल (shell) हा अनेक इंजिनिअर्सना वाटतो तसा स्वस्त पर्याय नाही. मोठ्या प्रमाणावर चालणाऱ्या large-language-model (LLM) एजंट्ससाठी टोकनचा वापर थेट खर्चात रूपांतरित होतो.

परिस्थिती बदलणारा प्रयोग

एका डेव्हलपरने LLM एजंटद्वारे व्हेसल (vessel) डेटा मिळवण्याच्या चार पद्धतींचे मोजमाप केले:

  • MCP – Model Context Protocol अंतर्गत होस्ट केलेले सात टूल स्कीमा (tool schemas).
  • Bash + curl (cold) – कोणत्याही अतिरिक्त प्रॉम्प्टिंगशिवाय केलेली एक रॉ शेल कॉल (raw shell call).
  • Bash + curl (warm) – तीच शेल कॉल आणि सुरक्षित वापरासाठी मार्गदर्शन करणारे सिस्टम प्रॉम्प्ट्स.
  • Dedicated CLI tool – विशिष्ट कामासाठी बनवलेला कमांड-लाइन इंटरफेस.

या चारही पद्धती १२ प्रश्नांच्या संवादातून पार पाडल्या गेल्या. टोकनचा वापर, जो API बिलांवर परिणाम करतो, तो खालीलप्रमाणे आढळला:

  • MCP: 109,779 टोकन्स
  • Bash + curl (cold): 158,021 टोकन्स
  • Bash + curl (warm): 178,577 टोकन्स

Dedicated CLI tool चे आकडे जाहीर करण्यात आले नाहीत, परंतु Bash च्या दोन प्रकारांचा खर्च आधीच MCP पेक्षा जास्त झाला होता.

प्रोटोकॉलपेक्षा शेलचा खर्च जास्त का आला?

प्रत्येक Bash टूलसाठी अंदाजे 2,700 टोकन्सचे “harness prompts” आवश्यक होते – म्हणजे एजंटला शेल सुरक्षितपणे कसे कॉल करायचे, आउटपुट कसे पार्स करायचे आणि त्रुटी (errors) कशा हाताळायच्या, याबद्दलच्या सूचना. केवळ हे प्रॉम्प्ट्स सातही MCP स्कीमांच्या एकत्रित एकूण टोकन वजनापेक्षा जास्त आहेत.

खर्च केवळ सुरुवातीच्या कॉलपुरता मर्यादित नाही. प्रोडक्शनमध्ये (production), त्याच एजंटने स्टार्टअपला 11 MCP सर्व्हर्स प्री-लोड केले, ज्यामुळे पहिला युजर क्वेरी येण्यापूर्वीच 19,800 टोकन्स खर्च झाले. त्यानंतर, प्रत्येक टर्नवर, एजंट प्रत्येक सर्व्हरमधील प्रत्येक स्कीमा पुन्हा वाचत असे, त्यामुळे “वेळ काय झाली आहे?” सारख्या साध्या विनंतीसाठी देखील इतर सर्व टूल वर्णनांची टोकन किंमत मोजावी लागली.

ईगर लोडिंगचा (eager loading) छुपा खर्च

जेव्हा एखादा LLM एजंट प्रत्येक टर्नवर प्रत्येक टूल सर्व्हर ईगरली (eagerly) लोड करतो, तेव्हा टोकन बिल मोठ्या प्रमाणात वाढते. प्रयोगातून असे दिसून आले की Bash वापरण्याचा “खरा” खर्च शेल कमांडचा नसून, प्रत्येक वेळी मॉडेलला पाठवाव्या लागणाऱ्या सभोवतालच्या संदर्भाचा (context) आहे.

  • Fixed-cost tools (MCP स्कीमा) प्रत्येक टर्नवर एक अंदाजित टोकन ओव्हरहेड वाढवतात.
  • Dynamic payloads (curl प्रतिसाद) एक वाढते कर्ज निर्माण करतात जे संवादाची लांबी आणि डेटाच्या आकारानुसार वाढत जाते.

अशा प्रकारे, वरवर “मोफत” वाटणारे शेल प्रत्यक्षात मोठा आणि बदलणारा टोकन टॅक्स लादते.

AI इंजिनिअर्सनी पुढे काय करावे?

  • Lazy loading चा अवलंब करा. टूल सर्व्हर तेव्हाच लोड करा जेव्हा त्याचा स्कीमा खरोखर आवश्यक असेल, आणि प्रत्येक वेळी पुन्हा वाचण्याऐवजी तो मेमरीमध्ये ठेवा.
  • टूल स्कीमांना प्रति-टर्न निश्चित खर्च माना. शेल कमांड्स मोफत आहेत असे मानण्याऐवजी MCP डेफिनिशन्सच्या ज्ञात आकारावर आधारित टोकन बजेटचे नियोजन करा.
  • “shell = स्वस्त” या गृहितकांचे पुनर्मूल्यांकन करा. डिझाइन निश्चित करण्यापूर्वी प्रत्येक टूल पाथसाठी टोकन वापराचे प्रोफाइलिंग करा.
  • लहान मॉडेल्ससाठी सुव्यवस्थित (shaped) टूल्सचा वापर करा. मर्यादित कॉन्टेक्स्ट विंडो असूनही, सुस्पष्ट स्कीमामुळे तर्कशक्ती (reasoning), युनिट कन्व्हर्जन आणि एरर हँडलिंगमध्ये सुधारणा होते.

थोडक्यात सांगायचे तर: प्रोटोकॉल डिझाइन नाही, तर टोकन इकॉनॉमिक्स खर्च ठरवते. टूल सर्व्हर्स कधी आणि कसे लोड केले जातात याचे व्यवस्थापन केल्यास संवादातून हजारो टोकन्स वाचवता येतात, ज्यामुळे ऑपरेशनल खर्च थेट कमी होतो.

स्रोत: https://dev.to/clarkbw--/enabling-bash-costs-more-context-than-seven-mcp-tool-schemas-2h82