Moonshot AI, 27 Temmuz 2026 tarihinde 2,8 trilyon parametreli Kimi K3 modelini yayınladı; 96 shard halinde 1,56 TB ağırlık paylaştı ve kullanıcıları en az 64 hızlandırıcıya sahip “supernode” kümelerinde çalıştırmaya çağırdı. Bu sürüm önemlidir çünkü donanımı karşılayabilecek kuruluşların erişimine son teknoloji bir LLM sunar, ancak tipik bir iş istasyonu veya tek bir GPU buna yetmeyecektir.

Donanım neden önemlidir

Kimi K3'ün devasa ölçeği, tüm sonraki gereksinimleri belirler. Modelin aktif parametre sayısı —token başına 104 milyar— her bir token'ın ağın çok büyük bir kısmına temas ettiği anlamına gelir. Bağlam penceresi (context window) 1.048.576 token'a kadar uzanır; bu boyut ancak devasa bir KV (key-value) önbelleği ile desteklenebilir. Ağırlık dosyaları 1,56 TB yer kaplar, ancak bu rakam çalışma zamanı (runtime) için gereken VRAM, aktivasyon depolama alanı ve KV önbelleğini kapsamaz. Uygulamada, tam 1 milyon token'lık pencereyi kullanmayı hedefleyen bir dağıtım, muazzam bir bellek yükü ekler.

Dağıtım öncesi üç kontrol

1. Depolama kontrolü

Shard'ları çekmeden önce yeterli disk alanınız olduğundan ve depolama alt sisteminin yüksek veri aktarım hızında okuma yapabildiğinden emin olun. Eğer 96 shard yavaş bir depolama birimindeyse, model vaktinin çoğunu veri bekleyerek geçirecektir.

2. Donanım kontrolü

Moonshot'ın teknik raporu, 64 veya daha fazla hızlandırıcıdan oluşan bir küme öneriyor. Tek bir GPU, en üst segment bir model olsa bile, modelin ağırlıklarını ve çalışma zamanı tamponlarını (runtime buffers) tek başına tutamaz.

3. Çalışma zamanı (Runtime) kontrolü

Model; vLLM, SGLang veya TokenSpeed gibi özelleşmiş çıkarım (inference) motorları üzerinde çalışır. Her motor; MXFP4 formatındaki ağırlıkların yüklenmesi, KV önbelleğinin tahsis edilmesi ve tensör işlemlerinin planlanması için bir yöntem sunar. Bir motor seçin, kılavuzunu harfiyen takip edin ve farklı çalışma zamanlarından gelen bileşenleri karıştırmaktan kaçının.

Uygulamada kontrol listesi

  • İndirmeyi doğrulayın – 96 shard'ı çektikten sonra sağlanan checksum veya hash betiğini çalıştırın. Bozuk shard'lar daha sonra sessiz hatalara neden olur.
  • Lisansı okuyun – Kimi K3 lisansı, internetteki kısa özetlerden farklı olan kullanım sınırları ve atıf gereklilikleri içerir. Bunu göz ardı etmek sizi yasal risklere maruz bırakabilir.
  • Topolojinizi haritalandırın – Her bir hızlandırıcıyı, her bir ara bağlantının (interconnect) bant genişliğini ve ana makine (host) RAM miktarını listeleyin. Bu harita, modeli cihazlar arasında nasıl böleceğiniz konusunda size yol gösterir.
  • Bağlam uzunluğu ile küçük başlayın – Önce 32K, ardından 128K ve son olarak 256K token'lık pencerelerle test edin. Ancak bu adımlardan sonra tam 1 milyon token'lık pencereyi denemelisiniz; her artış bellek baskısını katlayarak artırır.
  • Hata simülasyonu yapın – Bir test çalışmasında bir hızlandırıcıyı bağlantısı kesin veya bir shard'ı bozun. Orkestrasyon katmanınızın hatayı tespit ettiğini, eksik parçayı yeniden yüklediğini ve hizmeti canlı tuttuğunu doğrulayın.
  • Bir yedek plan (fallback) yapın – Barındırılan (hosted) Kimi K3 API kimlik bilgilerini elinizin altında bulundurun. Kümeniz çökerse, istemci uygulamalarını bozmadan trafiği bulut uç noktasına (cloud endpoint) yönlendirebilirsiniz.

Kendi kendine barındırma (self-hosting) ne zaman mantıklıdır

Yalnızca halihazırda çoklu hızlandırıcıya sahip bir küme çalıştırıyorsanız kendi kendinize barındırma yapın.

Sırada ne var

  • Topluluk desteği – Kimi K3 etrafında büyüyen bir Telegram topluluğu, kıyaslama (benchmark) sonuçlarını ve sorun giderme ipuçlarını paylaşıyor; bu tartışmaları takip etmek pratik kısayollar keşfetmenizi sağlayabilir.

Özet

Kimi K3 güçlüdür ancak zorlayıcıdır. Başarılı bir self-hosting süreci üç vazgeçilmez unsura bağlıdır: terabaytlarca hızlı depolama, yüksek hızlı bağlantılara sahip 64+ hızlandırıcılı bir küme ve tek, iyi belgelenmiş bir çıkarım (inference) motoru. Bunlar olmadan en güvenli yol Moonshot'ın barındırılan hizmetinde kalmaktır. Donanıma halihazırda sahip olan kuruluşlar için yukarıdaki kontrol listesini takip etmek, korkutucu bir indirme işlemini yönetilebilir, üretime hazır bir dağıtıma dönüştürür.