AI पायाभूत सुविधांचे (infrastructure) स्वरूप आता मूलभूतपणे बदलत आहे, कारण भांडवल आता मॉडेल ट्रेनिंगकडून (model training) मॉडेल एक्झिक्यूशनकडे (model execution) वळत आहे. टेक गुंतवणूक संस्था Upper90 कडून AI इन्फरन्स स्टार्टअप General Compute ला मिळालेले $400 दशलक्षचे प्रचंड कर्ज, हार्डवेअरचे वित्तपुरवठा आणि तैनाती (deployment) कशी केली जाते, यामधील एक ऐतिहासिक टप्पा आहे.

तारण (Collateral) युगाची नवी सुरुवात: इन्फरन्स चिप्सना वित्तपुरवठा

GPU वित्तपुरवठ्याच्या सुरुवातीच्या दिवसांप्रमाणेच, Upper90 आता एका नवीन मालमत्ता वर्गात (asset class) पाऊल टाकत आहे: ते म्हणजे इन्फरन्स-विशिष्ट सिलिकॉन (inference-specific silicon). CoreWeave सारख्या कंपन्यांनी सुरू केलेल्या वित्तपुरवठ्याच्या मागील लाटेने मोठ्या ट्रेनिंग वर्कलोडसाठी वापरल्या जाणाऱ्या Nvidia GPUs वर लक्ष केंद्रित केले होते, परंतु हे $400 दशलक्षचे व्यवहार आधीच प्रशिक्षित केलेली मॉडेल्स चालवण्यासाठी विशेषतः तयार केलेल्या चिप्सना तारण म्हणून वापरतात.

CEO Finn Puklowski यांच्या नेतृत्वाखालील General Compute एक "neocloud" तयार करत आहे—जे सामान्य उद्देशाच्या (general-purpose) कम्प्युटिंगऐवजी विशेषतः AI वर्कलोडसाठी डिझाइन केलेले एक विशेष पायाभूत सुविधा प्रदाता आहे. हा फरक अत्यंत महत्त्वाचा आहे; AWS आणि Azure सारखे पारंपारिक हायपरस्केलर्स व्यापक सेवा देतात, तर neoclouds हे Large Language Models (LLMs) च्या अद्वितीय लॅटन्सी (latency) आणि थ्रूपुट (throughput) गरजांसाठी ऑप्टिमाइझ केलेले असतात.

SambaNova च्या SN50 चा तांत्रिक फायदा

General Compute च्या रणनीतीचा केंद्रबिंदू Intel-समर्थित चिपमेकर SambaNova सोबतची त्यांची भागीदारी आहे. कंपनी SambaNova च्या SN50 चिप्स तैनात करत आहे, ज्या पारंपारिक हार्डवेअरच्या तुलनेत कामगिरीमध्ये मोठी झेप घेण्यासाठी तयार करण्यात आल्या आहेत.

General Compute च्या मते, या चिप्स सध्याच्या GPU-आधारित क्लाउड्सपेक्षा १६ पटीने जास्त वेगाने इन्फरन्स स्पीड देऊ शकतात. केवळ वेगाव्यतिरिक्त, SN50 दोन प्रमुख कार्यात्मक फायदे देते:

  • Power Efficiency (ऊर्जा कार्यक्षमता): ते प्रति टोकन कमी ऊर्जा वापरतात, ज्यामुळे AI तैनातीचा (deployment) प्रचंड अतिरिक्त खर्च कमी होतो.
  • Simplified Cooling (सोपे कूलिंग): हाय-एंड GPUs प्रमाणे, ज्यांना अनेकदा जटिल आणि महागड्या वॉटर-कूलिंग सिस्टमची आवश्यकता असते, या चिप्स विविध प्रकारच्या मानक डेटा सेंटर वातावरणात जलद तैनाती करण्यास सक्षम करतात.

Nvidia च्या मक्तेदारीला छेद

हा व्यवहार केवळ भांडवल पुरवण्यापुरता मर्यादित नाही; तो एक धोरणात्मक संकेत आहे की बाजारपेठ Nvidia च्या वर्चस्वाला पर्याय शोधत आहे. टोकन्सचा खर्च आणि फ्रंटियर मॉडेल (frontier model) प्रवेश डेव्हलपर्ससाठी अडथळा ठरत असताना, ओपन-सोर्स मॉडेल्सच्या स्वस्त आणि कार्यक्षम प्रवेशाची मागणी वाढत आहे.

उच्च-कार्यक्षम ओपन-सोर्स मॉडेल्सचा उदय—जसे की Kimi चे K3, जे कोडिंग बेंचमार्कवर Anthropic आणि OpenAI शी स्पर्धा करते—याचा अर्थ असा आहे की उद्योगातील अडथळा आता "मॉडेल्स कसे तयार करायचे?" यावरून "ती किफायतशीरपणे कशी चालवायची?" याकडे वळत आहे. नॉन-Nvidia सिलिकॉनचा वापर करून, General Compute आणि TensorWave (जे AMD सोबत भागीदारी करत आहेत) सारखे स्पर्धक स्वतःला उत्कृष्ट Total Cost of Ownership (TCO) प्रदान करण्यासाठी सज्ज करत आहेत.

Puklowski यांनी नमूद केल्याप्रमाणे, हा व्यवहार AI इकोसिस्टमवरील Nvidia ची मक्तेदारी मोडीत काढण्यासाठी "भांडवल स्वतःला संघटित करत आहे" याचे प्रतीक आहे. विशेष इन्फरन्स हार्डवेअरवर पैज लावून, गुंतवणूकदार हे मान्य करत आहेत की AI क्रांतीचा पुढचा टप्पा स्केल (scale), कार्यक्षमता आणि दैनंदिन उपयोगांमध्ये AI च्या सर्वव्यापीतेद्वारे (ubiquity) प्रेरित असेल.

मुख्य निष्कर्ष

  • Inference-First Financing: $400 दशलक्षचा हा व्यवहार केवळ ट्रेनिंग GPUs ऐवजी विशेष इन्फरन्स चिप्सना मोठ्या कर्जासाठी तारण म्हणून वापरण्याच्या दिशेने होणारा बदल दर्शवतो.
  • Performance Gains: General Compute चे उद्दिष्ट SambaNova च्या SN50 चिप्स वापरून GPU-आधारित क्लाउड्सपेक्षा १६ पटीने अधिक कामगिरी करणे हे आहे, ज्यामध्ये अधिक ऊर्जा कार्यक्षमता आणि सोपी तैनाती मिळते.
  • Diversifying the Stack: ही हालचाल ओपन-सोर्स LLMs च्या किफायतशीर स्केलिंगसाठी नॉन-Nvidia सिलिकॉनच्या वाढत्या बाजारपेठेतील मागणीचे संकेत देते.