Landskap infrastruktur AI sedang mengalami peralihan asas apabila modal beralih daripada latihan model kepada pelaksanaan model. Pinjaman besar sebanyak $400 juta daripada firma pelaburan teknologi Upper90 kepada syarikat pemula inferens AI, General Compute, menandakan satu pencapaian bersejarah dalam cara perkakasan dibiayai dan digunakan.

Era Baharu Cagaran: Membiayai Cip Inferens

Dalam satu langkah yang mencerminkan hari-hari awal pembiayaan GPU, Upper90 sedang meneroka kelas aset baharu: silikon khusus untuk inferens. Walaupun gelombang pembiayaan sebelum ini—yang diterajui oleh firma seperti CoreWeave—fokus kepada GPU Nvidia yang digunakan untuk beban kerja latihan yang besar, perjanjian $400 juta ini menggunakan cip yang dibina khusus untuk menjalankan model yang telah dilatih sebagai cagaran.

General Compute, yang diterajui oleh CEO Finn Puklowski, sedang membina sebuah "neocloud"—penyedia infrastruktur khusus yang direka khas untuk beban kerja AI dan bukannya pengkomputeran tujuan umum. Perbezaan ini adalah kritikal; sementara penyedia hyperscaler tradisional seperti AWS dan Azure menawarkan perkhidmatan yang luas, neocloud mengoptimumkan keperluan kependaman (latency) dan daya pemprosesan (throughput) yang unik bagi Model Bahasa Besar (LLM).

Kelebihan Teknikal SambaNova SN50

Teras kepada strategi General Compute adalah perkongsiannya dengan SambaNova, sebuah pengeluar cip yang disokong oleh Intel. Syarikat tersebut sedang menggunakan cip SambaNova SN50, yang direka kejuruteraan untuk memberikan lonjakan prestasi yang ketara berbanding perkakasan tradisional.

Menurut General Compute, cip ini boleh memberikan kelajuan inferens sehingga 16 kali lebih pantas daripada awan berasaskan GPU sedia ada. Selain kelajuan mentah, SN50 menawarkan dua kelebihan operasi utama:

  • Kecekapan Kuasa: Ia menggunakan kurang tenaga bagi setiap token, sekali gus mengurangkan kos overhed yang besar dalam penggunaan AI.
  • Penyejukan yang Dipermudahkan: Tidak seperti GPU kelas atasan yang sering memerlukan sistem penyejukan air yang kompleks dan mahal, cip ini membolehkan penggunaan yang lebih pantas merentasi pelbagai persekitaran pusat data standard.

Memecahkan Monopoli Nvidia

Perjanjian ini bukan sekadar suntikan modal; ia adalah isyarat strategik bahawa pasaran sedang mencari alternatif kepada dominasi Nvidia. Memandangkan kos token dan akses kepada model perintis (frontier model) kekal menjadi penghalang bagi pembangun, terdapat permintaan yang semakin meningkat untuk akses yang murah dan cekap kepada model sumber terbuka.

Kebangkitan model sumber terbuka berprestasi tinggi—seperti K3 milik Kimi, yang bersaing dengan Anthropic dan OpenAI dalam penanda aras pengekodan—bermaksud kekangan industri kini beralih daripada "bagaimana kita membina model?" kepada "bagaimana kita menjalankannya dengan kos berpatutan?" Dengan memanfaatkan silikon bukan Nvidia, General Compute dan pesaing seperti TensorWave (yang bekerjasama dengan AMD) sedang memposisikan diri mereka untuk menawarkan Jumlah Kos Pemilikan (TCO) yang lebih unggul.

Seperti yang dinyatakan oleh Puklowski, perjanjian ini mewakili "modal yang mengatur dirinya sendiri" untuk memecahkan pegangan monopoli Nvidia terhadap ekosistem AI. Dengan bertaruh pada perkakasan inferens khusus, pelabur mengakui bahawa peringkat seterusnya dalam lonjakan AI akan didorong oleh skala, kecekapan, dan penggunaan AI yang meluas dalam aplikasi harian.

Ringkasan Utama

  • Pembiayaan Mengutamakan Inferens: Perjanjian $400 juta ini menandakan peralihan ke arah penggunaan cip inferens khusus, dan bukannya sekadar GPU latihan, sebagai cagaran untuk pinjaman besar.
  • Peningkatan Prestasi: General Compute menyasarkan untuk mengatasi prestasi awan berasaskan GPU sehingga 16 kali ganda menggunakan cip SambaNova SN50, yang menawarkan kecekapan kuasa yang lebih baik dan penggunaan yang lebih mudah.
  • Kepelbagaian Stack: Langkah ini menandakan permintaan pasaran yang semakin meningkat untuk silikon bukan Nvidia bagi menyokong penskalaan model bahasa besar (LLM) sumber terbuka yang kos efektif.