Разработчик опубликовал на Hacker News трансформер с 125 миллионами параметров, который может автодополнять фортепианные мелодии прямо на ноутбуке или телефоне, без подключения к облаку. Теперь музыканты получают предложения по каждой ноте в режиме реального времени, сохраняя при этом конфиденциальность всех своих идей.

Почему важен музыкальный ИИ на устройстве

Задержка убивает творческий поток. Даже миллисекунда промедления может сбить ритм. Локальный запуск модели обеспечивает предложения за несколько миллисекунд, сводя на нет любые ощутимые задержки.

Конфиденциальность важна не меньше. Поскольку модель работает непосредственно на устройстве, наброски исполнителя никогда не покидают его собственное оборудование.

Возможность работы офлайн позволяет использовать инструмент в любом репетиционном зале, на концертной площадке или в удаленной студии, где Wi-Fi работает нестабильно или отсутствует. Небольшой ноутбук или современный планшет превращается в автономного творческого помощника.

Как работает модель

Система рассматривает игру на фортепиано как язык. Она преобразует MIDI-события — note-on, note-off, velocity — в последовательность токенов и подает эту последовательность в трансформер. Трансформеры отлично справляются с предсказанием следующего элемента, что в музыке напрямую означает вопрос: «какая нота будет следующей?».

Разработчик применил квантование, уменьшив точность каждого веса. Это сокращает размер файла и резко снижает необходимые вычислительные мощности.

Что на самом деле может этот инструмент

  • Предлагать продолжение коротких мелодических фрагментов, развивая фразу и сохраняя музыкальную связность.
  • Соблюдать тональности и ограничения гамм, избегая нот, не входящих в тональность, которые звучали бы диссонансно.
  • Имитировать окружающий стиль, будь то джазовая импровизация, классическое арпеджио или поп-хук.
  • Помогать преодолевать творческий кризис, предлагая свежие идеи, когда композитор заходит в тупик.

Благодаря этим функциям система работает как автодополнение в текстовом редакторе, только для музыки. Она выступает в роли помощника, а не замены человеческому суждению.

В чем модель пока слаба

  • Она не может генерировать полноценные композиции, например, произведение на 64 такта, без руководства человека.
  • Она не изобретает совершенно новые жанры; её результат остается в статистических рамках обучающих данных.

На практике музыканты по-прежнему оценивают, редактируют и дорабатывают предложения, подобно тому как писатель редактирует предложения, предложенные проверкой орфографии.

Более широкие последствия

Проект показывает, что полезный ИИ для творческих задач больше не зависит от массивных облачных моделей. Трансформер умеренного размера может обеспечивать помощь в режиме реального времени даже на скромном оборудовании.

За чем следить дальше

  • Расширения сообщества: В оригинальном посте есть ссылка на обучающее сообщество, где разработчики могут делиться улучшениями.

Главный вывод прост: трансформер умеренного размера уже может обеспечивать полезную, мгновенную и конфиденциальную помощь пианистам. Если вы когда-либо хотели иметь «второго пилота», который шепчет следующую ноту, не покидая вашего ноутбука, — это будущее уже наступило.