AI ઇન્ફ્રાસ્ટ્રક્ચરનું લેન્ડસ્કેપ એક મૂળભૂત પરિવર્તનમાંથી પસાર થઈ રહ્યું છે કારણ કે મૂડી મોડેલ ટ્રેનિંગથી મોડેલ એક્ઝિક્યુશન તરફ વળી રહી છે. ટેક ઇન્વેસ્ટમેન્ટ ફર્મ Upper90 દ્વારા AI ઇન્ફરન્સ સ્ટાર્ટઅપ General Compute ને આપવામાં આવેલું $400 મિલિયનનું વિશાળ લોન, હાર્ડવેરનું ફાઇનાન્સિંગ અને ડિપ્લોયમેન્ટ કેવી રીતે થાય છે તેમાં એક ઐતિહાસિક સીમાચિહ્નરૂપ છે.

કોલેટરલ (Collateral) નો નવો યુગ: ઇન્ફરન્સ ચિપ્સનું ફાઇનાન્સિંગ

GPU ફાઇનાન્સિંગના શરૂઆતના દિવસોને અનુરૂપ એક પગલામાં, Upper90 એક નવા એસેટ ક્લાસમાં પ્રવેશ કરી રહ્યું છે: ઇન્ફરન્સ-સ્પેસિફિક સિલિકોન. જ્યારે CoreWeave જેવી કંપનીઓ દ્વારા શરૂ કરવામાં આવેલ ફાઇનાન્સિંગના અગાઉના મોજાએ મોટા ટ્રેનિંગ વર્કલોડ માટે વપરાતા Nvidia GPUs પર ધ્યાન કેન્દ્રિત કર્યું હતું, ત્યારે આ $400 મિલિયનનો સોદો પહેલેથી જ ટ્રેન થયેલા મોડેલ્સ ચલાવવા માટે ખાસ બનાવવામાં આવેલી ચિપ્સને કોલેટરલ તરીકે ઉપયોગમાં લે છે.

CEO Finn Puklowski ના નેતૃત્વ હેઠળ, General Compute એક "neocloud" બનાવી રહ્યું છે—જે સામાન્ય હેતુના કમ્પ્યુટિંગને બદલે ખાસ કરીને AI વર્કલોડ માટે ડિઝાઇન કરવામાં આવેલ એક વિશિષ્ટ ઇન્ફ્રાસ્ટ્રક્ચર પ્રોવાઈડર છે. આ તફાવત મહત્વપૂર્ણ છે; જ્યારે AWS અને Azure જેવા પરંપરાગત હાઇપરસ્કેલર્સ વ્યાપક સેવાઓ પ્રદાન કરે છે, ત્યારે neoclouds Large Language Models (LLMs) ની વિશિષ્ટ લેટન્સી (latency) અને થ્રુપુટ (throughput) જરૂરિયાતો માટે ઓપ્ટિમાઇઝ કરે છે.

SambaNova ના SN50 ની ટેકનિકલ સરસાઈ

General Compute ની વ્યૂહરચનાના કેન્દ્રમાં Intel દ્વારા સમર્થિત ચિપમેકર SambaNova સાથેની તેની ભાગીદારી છે. કંપની SambaNova ના SN50 ચિપ્સ તૈનાત કરી રહી છે, જે પરંપરાગત હાર્ડવેર કરતા નોંધપાત્ર પ્રદર્શનમાં ઉછાળો લાવવા માટે એન્જિનિયર્ડ છે.

General Compute ના જણાવ્યા અનુસાર, આ ચિપ્સ વર્તમાન GPU-આધારિત ક્લાઉડ કરતા 16 ગણી વધુ ઝડપી ઇન્ફરન્સ સ્પીડ આપી શકે છે. માત્ર ઝડપ સિવાય, SN50 બે મુખ્ય ઓપરેશનલ ફાયદાઓ આપે છે:

  • પાવર કાર્યક્ષમતા (Power Efficiency): તેઓ પ્રતિ ટોકન ઓછી ઉર્જા વાપરે છે, જે AI ડિપ્લોયમેન્ટના વિશાળ ઓવરહેડ ખર્ચને ઘટાડે છે.
  • સરળ કૂલિંગ: હાઇ-એન્ડ GPUs થી વિપરીત, જેને ઘણીવાર જટિલ અને મોંઘી વોટર-કૂલિંગ સિસ્ટમની જરૂર પડે છે, આ ચિપ્સ વિવિધ પ્રકારના સ્ટાન્ડર્ડ ડેટા સેન્ટર વાતાવરણમાં ઝડપી ડિપ્લોયમેન્ટની મંજૂરી આપે છે.

Nvidia ના ઈજારો તોડવો

આ સોદો માત્ર મૂડીના ઇન્જેક્શન કરતાં વધુ છે; તે એક વ્યૂહાત્મક સંકેત છે કે બજાર Nvidia ના વર્ચસ્વના વિકલ્પો શોધી રહ્યું છે. જેમ જેમ ટોકન્સ અને ફ્રન્ટિયર મોડેલ એક્સેસનો ખર્ચ ડેવલપર્સ માટે અવરોધ બની રહ્યો છે, તેમ ઓપન-સોર્સ મોડેલ્સ માટે સસ્તા અને કાર્યક્ષમ એક્સેસની માંગ વધી રહી છે.

ઉચ્ચ પ્રદર્શન કરતા ઓપન-સોર્સ મોડેલ્સનો ઉદય—જેમ કે Kimi નું K3, જે કોડિંગ બેન્ચમાર્ક પર Anthropic અને OpenAI સાથે સ્પર્ધા કરે છે—તેનો અર્થ એ છે કે ઉદ્યોગનો અવરોધ (bottleneck) "અમે મોડેલ્સ કેવી રીતે બનાવીએ?" થી બદલાઈને "અમે તેને પરવડે તે રીતે કેવી રીતે ચલાવીએ?" તરફ જઈ રહ્યો છે. નોન-Nvidia સિલિકોનનો ઉપયોગ કરીને, General Compute અને TensorWave (AMD સાથે ભાગીદારી કરીને) જેવા સ્પર્ધકો શ્રેષ્ઠ Total Cost of Ownership (TCO) ઓફર કરવા માટે પોતાને તૈયાર કરી રહ્યા છે.

Puklowski એ નોંધ્યું તેમ, આ સોદો AI ઇકોસિસ્ટમ પર Nvidia ના ઈજારો તોડવા માટે "મૂડીનું પોતાની જાતે સંગઠિત થવું" દર્શાવે છે. વિશિષ્ટ ઇન્ફરન્સ હાર્ડવેર પર દાવ લગાવીને, રોકાણકારો સ્વીકારી રહ્યા છે કે AI બૂમનું આગલું તબક્કો સ્કેલ, કાર્યક્ષમતા અને રોજિંદા એપ્લિકેશન્સમાં AI ની વ્યાપકતા દ્વારા સંચાલિત થશે.

મુખ્ય મુદ્દાઓ

  • ઇન્ફરન્સ-ફર્સ્ટ ફાઇનાન્સિંગ: $400 મિલિયનનો સોદો માત્ર ટ્રેનિંગ GPUs ને બદલે વિશિષ્ટ ઇન્ફરન્સ ચિપ્સને મોટા લોન માટે કોલેટરલ તરીકે વાપરવા તરફના પરિવર્તનને દર્શાવે છે.
  • પ્રદર્શનમાં વધારો: General Compute SambaNova ના SN50 ચિપ્સનો ઉપયોગ કરીને GPU-આધારિત ક્લાઉડ કરતા 16 ગણા વધુ પ્રદર્શન કરવાનું લક્ષ્ય રાખે છે, જે વધુ સારી પાવર કાર્યક્ષમતા અને સરળ ડિપ્લોયમેન્ટ ઓફર કરે છે.
  • સ્ટેકનું વૈવિધ્યકરણ: આ પગલું ઓપન-સોર્સ LLMs ના ખર્ચ-અસરકારક સ્કેલિંગને ટેકો આપવા માટે નોન-Nvidia સિલિકોન માટે વધતી જતી બજારની માંગનો સંકેત આપે છે.