Il panorama delle infrastrutture AI sta vivendo un cambiamento fondamentale mentre i capitali si spostano dall'addestramento dei modelli alla loro esecuzione. Un massiccio prestito da 400 milioni di dollari della società di investimenti tecnologici Upper90 alla startup di inferenza AI General Compute segna una pietra miliare storica nel modo in cui l'hardware viene finanziato e distribuito.

Una nuova era di garanzie: finanziare i chip per l'inferenza

In un'operazione che richiama i primi giorni del finanziamento delle GPU, Upper90 si sta avventurando in una nuova classe di attività: il silicio specifico per l'inferenza. Mentre la precedente ondata di finanziamenti — guidata da aziende come CoreWeave — si concentrava sulle GPU Nvidia utilizzate per massicci carichi di lavoro di addestramento, questo accordo da 400 milioni di dollari utilizza come garanzia chip costruiti specificamente per l'esecuzione di modelli già addestrati.

General Compute, guidata dal CEO Finn Puklowski, sta costruendo una "neocloud" — un fornitore di infrastrutture specializzato, progettato specificamente per i carichi di lavoro AI piuttosto che per il calcolo general-purpose. Questa distinzione è fondamentale; mentre gli hyperscaler tradizionali come AWS e Azure offrono servizi ampi, le neocloud ottimizzano le prestazioni per i requisiti unici di latenza e throughput dei Large Language Models (LLM).

Il vantaggio tecnico del chip SN50 di SambaNova

Al centro della strategia di General Compute c'è la partnership con SambaNova, un produttore di chip sostenuto da Intel. L'azienda sta implementando i chip SN50 di SambaNova, progettati per offrire un salto di prestazioni significativo rispetto all'hardware tradizionale.

Secondo General Compute, questi chip possono offrire velocità di inferenza fino a 16 volte superiori rispetto alle attuali cloud basate su GPU. Oltre alla velocità pura, l'SN50 offre due grandi vantaggi operativi:

  • Efficienza energetica: consumano meno energia per token, riducendo i massicci costi di gestione dell'implementazione dell'AI.
  • Raffreddamento semplificato: a differenza delle GPU di fascia alta che spesso richiedono sistemi di raffreddamento a liquido complessi e costosi, questi chip consentono una distribuzione più rapida in una più ampia varietà di ambienti standard per data center.

Rompere il monopolio di Nvidia

Questo accordo è più di una semplice iniezione di capitale; è un segnale strategico che il mercato sta cercando alternative al dominio di Nvidia. Poiché il costo dei token e l'accesso ai modelli all'avanguardia rimangono un ostacolo per gli sviluppatori, c'è una crescente domanda di un accesso economico ed efficiente ai modelli open-source.

L'ascesa di modelli open-source ad alte prestazioni — come il K3 di Kimi, che compete con Anthropic e OpenAI nei benchmark di coding — significa che il collo di bottiglia del settore si sta spostando da "come costruiamo i modelli?" a "come li eseguiamo in modo conveniente?". Sfruttando il silicio non Nvidia, General Compute e concorrenti come TensorWave (in partnership con AMD) si stanno posizionando per offrire un Total Cost of Ownership (TCO) superiore.

Come ha osservato Puklowski, questo accordo rappresenta il "capitale che si organizza da solo" per frammentare il controllo monopolistico di Nvidia sull'ecosistema AI. Puntando su hardware di inferenza specializzato, gli investitori riconoscono che la prossima fase del boom dell'AI sarà guidata dalla scala, dall'efficienza e dall'ubiquità dell'AI nelle applicazioni quotidiane.

Punti chiave

  • Finanziamento incentrato sull'inferenza: l'accordo da 400 milioni di dollari segna uno spostamento verso l'uso di chip per l'inferenza specializzati, piuttosto che solo GPU per l'addestramento, come garanzia per prestiti massicci.
  • Guadagni di prestazioni: General Compute punta a superare le cloud basate su GPU fino a 16 volte utilizzando i chip SN50 di SambaNova, che offrono una migliore efficienza energetica e una distribuzione più semplice.
  • Diversificazione dello stack: l'operazione segnala una crescente domanda di mercato per il silicio non Nvidia, a supporto della scalabilità economica dei modelli LLM open-source.