Мне удалось запустить языковую модель с 284 миллиардами параметров на ноутбуке всего с 3,2 ГБ оперативной памяти, используя только чистый C99 и NVMe-накопитель. Секрет заключался в потоковой передаче весов экспертов вместо загрузки всего чекпоинта объемом 160 ГБ в память, что доказывает: даже самые крупные модели Mixture-of-Experts (MoE) можно уместить на потребительском оборудовании.

Почему это важно

Большие языковые модели (LLM) лежат в основе генерации кода, помощи в исследованиях и многого другого, но их размер обычно вынуждает пользователей использовать дорогостоящие многопроцессорные серверы или тяжелое квантование, которое снижает качество. Демонстрация того, что MoE-модель с 284 млрд параметров может работать всего с несколькими гигабайтами оперативной памяти, открывает возможности для хоббистов, небольших стартапов и исследователей с ограниченным бюджетом экспериментировать с передовыми моделями без потери точности.

Модель и аппаратное ограничение

DeepSeek-V4-Flash распределяет 284 млрд параметров между 256 экспертами на каждый слой трансформера. Исходный чекпоинт занимает примерно 160 ГБ на диске — размер, который в разы превышает 3,2 ГБ оперативной памяти типичного ноутбука. Традиционные конвейеры вывода пытаются отобразить весь чекпоинт в память, что быстро исчерпывает бюджет RAM и приводит к сбою.

Потоковая передача весов экспертов: основная идея

Архитектуры MoE активируют лишь крошечное подмножество экспертов для каждого токена. В DeepSeek-V4-Flash роутер выбирает шесть экспертов из 256 на слой. Поскольку вычисления никогда не затрагивают неактивных экспертов, движок вывода может пропустить их загрузку.

Реализация рассматривает чекпоинт как источник потоковых данных. Когда роутер определяет, какие эксперты нужны для текущего токена, движок подтягивает соответствующие блоки весов с NVMe-накопителя в LRU-кэш (least-recently-used), находящийся в оперативной памяти. Если кэш достаточно велик, одни и те же эксперты используются повторно для последовательных токенов, что приводит к попаданиям в кэш; если кэш слишком мал, движок чаще читает данные с диска. В результате пиковое потребление памяти составляет 3,23 ГБ, что вполне укладывается в лимиты ноутбука, при этом сохраняются веса полной точности и не требуется ускорение на GPU.

Трудные уроки, извлеченные из реализации

1. Беглая речь — не доказательство правильности С дефектным ядром (kernel) модель все равно может выдавать правдоподобные предложения, особенно когда языковые паттерны модели маскируют численные ошибки. Я проверил каждую из 14 критических операций, сравнив их с эталонной реализацией на PyTorch, чтобы убедиться, что численная разница остается в пределах минимальной погрешности. Пропуск этого шага позволил бы незаметно проскользнуть едва уловимым отклонениям.

2. Общие сценарии сбоев могут обмануть ваши тесты Ошибка повреждения памяти сузила выбор роутера до нескольких экспертов, искусственно завысив показатель попадания в кэш с 52% до 95% и создав иллюзию огромного ускорения. Поскольку тестовый набор сравнивал две версии одного и того же ошибочного кода, он не обнаружил проблему. Решение заключается в добавлении независимого эталонного

Потоковая передача только тех экспертов, которые фактически используются моделью MoE, позволяет запускать LLM с 284 млрд параметров на обычном ноутбуке без квантования или GPU-ускорения. Эксперимент показывает, что грамотное перемещение данных, тщательная валидация и системный подход к измерениям позволяют обойти аппаратные ограничения, которые многие считают непреодолимыми.