Alibaba запускает Wan3.0: новое слово в мультимодальной генерации ИИ-видео
Alibaba официально перешла к бета-тестированию Wan3.0 — мощной новой модели генерации видео, способной создавать высококачественные ролики длительностью до 30 секунд. Расширяя возможности ввода за счет документов и сложных мультимодальных промптов, Wan3.0 позиционирует себя как универсальный инструмент для создателей контента, маркетологов и инженеров в области робототехники.
Увеличение длительности вдвое и расширение мультимодальных входных данных
Wan3.0 представляет собой значительный скачок по сравнению со своим предшественником, Wan2.5, удваивая максимальную продолжительность видео до 30 секунд. Что действительно отличает эту модель, так это ее сложный движок мультимодальной обработки. В отличие от традиционных инструментов text-to-video, Wan3.0 может одновременно обрабатывать текст, изображения, видео и аудио.
Модель поддерживает высокосложные промпты, позволяя пользователям включать до десяти изображений, пяти видеороликов и пяти аудиоклипов в один запрос. Пожалуй, что впечатляет больше всего, так это способность Wan3.0 принимать нетрадиционные медиафайлы, такие как PDF, веб-страницы и презентации PowerPoint, эффективно превращая статические профессиональные документы в динамичный видеоконтент. Система даже включает интеллектуальную функцию, которая рекомендует оптимальную длину видео на основе конкретного запроса пользователя.
Решение проблемы визуального дрейфа
Одним из самых стойких препятствий в генерации ИИ-видео является «визуальный дрейф» (visual drift) — тенденция персонажей, черт лица и пространственного расположения искажаться или неестественно меняться со временем. Alibaba разработала Wan3.0 специально для борьбы с этими несоответствиями.
Отдавая приоритет сохранению деталей из референсных материалов, модель поддерживает гораздо более высокую точность воспроизведения персонажей, реквизита и сложных пользовательских интерфейсов. Такой акцент на временной согласованности делает модель гораздо более пригодной для профессиональных рабочих процессов, где идентичность бренда и непрерывность персонажей не подлежат обсуждению.
Масштабируемое ценообразование и отраслевое применение
Wan3.0 доступна через сайт wan.video, Alibaba Cloud Model Studio или через API на Qwen Cloud. Alibaba предлагает два различных уровня: версию Standard (сейчас со скидкой 30%) и высокоскоростную версию Prime. Цена масштабируется в зависимости от разрешения: от 1,50 $ за 30-секундный клип в 480p на уровне Standard до 8,40 $ за клип в 1080p на уровне Prime.
Стратегия развертывания ориентирована на три различных сектора:
- Развлечения: ускорение кинопроизводства и создание коротких драм или клипов для социальных сетей.
- Предприятия: преобразование маркетинговых текстов и обучающих пособий в увлекательные видеоматериалы.
- Deep Tech: предоставление реалистичных кадров симуляции для обучения беспилотных автомобилей и робототехнических систем.
Этот запуск последовал за массивными вливаниями капитала в Alibaba, которая недавно провела крупную продажу акций для финансирования своей агрессивной экспансии в области ИИ, даже несмотря на то, что высокие инвестиционные затраты повлияли на квартальную прибыль.
Основные выводы
- Улучшенная мультимодальность: Wan3.0 может превращать PDF, PowerPoint и веб-страницы в видео, поддерживая сложные промпты с использованием до 20 комбинированных медиаактивов.
- Повышенная согласованность: Модель специально решает проблему визуального дрейфа, обеспечивая лучшую стабильность персонажей, реквизита и окружения на протяжении 30-секундных роликов.
- Широкая сфера применения: Разработана для широкого спектра пользователей — от создателей контента, которым нужны клипы для соцсетей, до инженеров, нуждающихся в данных симуляции для обучения робототехники.