Moonshot AI выпустила модель Kimi K3 с 2,8 триллионами параметров 27 июля 2026 года, опубликовав 1,56 ТБ весов, распределенных по 96 шардам, и призвав пользователей запускать её на кластерах типа «supernode» как минимум с 64 ускорителями. Этот релиз важен, так как он делает современную LLM доступной для организаций, которые могут позволить себе оборудование, однако обычная рабочая станция или один GPU не справятся с этой задачей.

Почему важно оборудование

Масштаб Kimi K3 определяет все последующие требования. Количество активных параметров модели — 104 миллиарда на токен — означает, что каждый токен затрагивает огромную часть сети. Контекстное окно достигает 1 048 576 токенов — такой объем может поддерживать только массивный KV-кеш (key-value). Файлы весов занимают 1,56 ТБ, но эта цифра не включает VRAM, необходимую для работы, хранения активаций и KV-кеша. На практике развертывание, нацеленное на использование полного окна в 1 миллион токенов, создает колоссальные накладные расходы на память.

Три проверки перед развертыванием

1. Проверка хранилища

Перед загрузкой шардов убедитесь, что у вас достаточно дискового пространства и что подсистема хранения способна обеспечить высокую пропускную способность при чтении. Если 96 шардов будут находиться на медленном хранилище, модель будет проводить большую часть времени в ожидании данных.

2. Проверка оборудования

В техническом отчете Moonshot рекомендуется использовать кластер из 64 или более ускорителей. Один GPU, даже топового уровня, не сможет вместить веса модели вместе с рабочими буферами.

3. Проверка среды выполнения

Модель работает на специализированных движках инференса, таких как vLLM, SGLang или TokenSpeed. Каждый движок предлагает свой алгоритм загрузки весов в формате MXFP4, выделения KV-кеша и планирования тензорных операций. Выберите один движок, строго следуйте его руководству и избегайте смешивания компонентов от разных сред выполнения.

Чек-лист на практике

  • Проверьте целостность загрузки — после получения 96 шардов запустите предоставленный скрипт проверки контрольных сумм или хешей. Поврежденные шарды могут привести к скрытым сбоям на более поздних этапах.
  • Прочитайте лицензию — лицензия Kimi K3 содержит ограничения на использование и требования к указанию авторства, которые отличаются от кратких сводок в интернете. Игнорирование лицензии может подвергнуть вас юридическим рискам.
  • Составьте карту вашей топологии — перечислите каждый ускоритель, пропускную способность каждого интерконнекта и объем оперативной памяти хоста. Эта карта поможет определить, как распределить модель между устройствами.
  • Начинайте с малого размера контекста — протестируйте окна в 32 K, затем 128 K и, наконец, 256 K токенов. Только после этих шагов стоит пытаться использовать полное окно в 1 млн токенов; каждый такой скачок кратно увеличивает нагрузку на память.
  • Симулируйте сбой — отключите ускоритель или повредите шард во время тестового запуска. Убедитесь, что ваш уровень оркестрации обнаруживает ошибку, перезагружает недостающий фрагмент и поддерживает работоспособность сервиса.
  • Подготовьте план отката — держите под рукой учетные данные API Kimi K3. Если ваш кластер выйдет из строя, вы сможете переключить трафик на облачную конечную точку, не нарушая работу клиентских приложений.

Когда имеет смысл использовать self-hosting

Занимайтесь self-hosting только в том случае, если у вас уже есть кластер с несколькими ускорителями.

На что обратить внимание в дальнейшем

  • Поддержка сообщества — растущее сообщество Kimi K3 в Telegram делится результатами бенчмарков и советами по устранению неполадок; отслеживание этих дискуссий может помочь найти практические решения.

Итог

Kimi K3 мощная, но требовательная. Успешный self-hosting зависит от трех обязательных условий: терабайты быстрого хранилища, кластер из 64 и более ускорителей с высокоскоростными каналами связи и один хорошо документированный движок инференса. Без этого самым безопасным вариантом будет использование облачного сервиса Moonshot. Для организаций, которые уже владеют соответствующим оборудованием, соблюдение вышеуказанного чек-листа превратит пугающую загрузку в управляемое и готовое к эксплуатации развертывание.