Топ-5 нейросетей для музыкантов: генерация треков, регулирование мелодии и наложение голосов

Искусственному интеллекту вместе с нейросетями уже может позавидовать любой артист. К 2024 году они прочно внедрились и в живопись, и в литературу, и даже в кино. Ранее мы рассказывали о нейронках, с помощью которых генерируют картины в разных стилях и создают настоящие поэмы вместе со стихотворениях. В этот раз речь пойдет о «музыкальных» проектах, которые искусственный интеллект тоже успел коснуться.

Нейромодели, которые на текущий момент используются для генерации музыкальных произведений, мягко говоря, пока не идеальны. Однако уже во всю пользуются спросом для изучения композиций известных музыкантов и составления на основе этого своих уникальных треков. 

Процесс создания музыкальных композиций напоминает генерацию изображений, которые обучались на основе работ известных художников. Если алгоритмы обучить песням, допустим, Виктора Цоя, то на выходе получим композицию, похожую на стиль легендарного советского музыканта. Так, новые треки, изученные алгоритмами, остаются в памяти нейросети в качестве шаблонов с определенной базой данных, которая впоследствие сможет создать самостоятельно похожую мелодию.

Один из первых полноценных музыкальных альбомов, созданных с помощью искусственного интеллекта, считается Proto. Певица Холли Херндон совместно с программистом Жюлем Лапласом разработала нейросеть Spawn, которую запустила в работу над альбомом к 2019 году. В своих треках Херндон поет вместе с хором из реальных и «искусственных» голосов. Притом последние заметно отличаются от естественных — в них отсутствует переход между звуками. Однако это и добавляет некой изюминки к альбому музыкантки. 

К настоящему времени на просторах сети можно встретить достаточно большое количество сервисов, которые вполне могут помочь музыкантом в создании треков и не только. В этой статье мы собрали наиболее интересные и эффективные «музыкальные» нейросети.

Топ-5 нейросетей для создания музыки

• Mubert (бесплатно и платно)

Mubert представляет собой онлайн-платформу, которая работает на базе искусственного интеллекта. Ее ключевая цель — это расширение возможностей создателей музыкального контента, предоставляя им композиции без авторских отчислений.

Платформа позволяет генерировать музыкальные композиции в любом стиле и с любым хронометражем. Кроме того, нейросеть может и сгенерировать трек на основе пользовательского текстового запроса. 

Интерфейс сервиса достаточно простой: для создания своей мелодии понадобится ввести запрос на английском (с пожеланиями к треку), установить желаемую длительность — и все: подождать пару минут и получить музыкальную композицию. Ее также возможно доработать вручную или же попросить нейросеть улучшить автоматически.

Однако при использовании композиции сервис потребует добавлять к описанию контента ссылку на Mubert — все права на бесплатно сгенерированные треки принадлежат ему. 

Сервис предполагает несколько тарифов для пользования:

— Бесплатный тариф позволяет генерировать до 25 треков в формате MP3 ежемесячно и обязательно с указанием ссылки на сервис;

— Тариф «Автор» ($14 / месяц) позволяет генерировать до 500 треков в разных форматах, допускается не указывать источник;

— Тариф «Профессиональный» ($39 / месяц) рассчитан на несколько пользователей и позволяет генерировать до 500 треков в разных форматах, допускается не указывать источник;

— Тариф «Бизнес» ($39 / месяц) рассчитан на корпоративное пользование и позволяет генерировать до 1000 треков в разных форматах, допускается не указывать источник.

• The MetaVoice (бесплатно и платно)

Эта нейросеть, предназначенная для трансформации голоса в аудиофайлах и музыкальных композициях, а также их редактирования. Причем пользоваться сервисом можно как и через приложение смартфона, так и через браузер компьютера. 

Сервис предоставляет более 20 различных стилей озвучки и более 100 шаблонов для наложения. Так, к примеру, нейронка сможет изменить женский голос на мужской, естественный — на мультяшный, а также серьезный тон голоса — на шутливый. 

Иными словами, пользователи могут модулировать голос благодаря дополнительным настройкам и эффектам, а также записывать в режиме реального времени под определенным фильтром. 

Для пользования сервисом достаточно выбрать на главном экране одну из двух задач: редактирование имеющегося аудиофайла или же запись в режиме онлайн. При первом варианте пользователю понадобится загрузить файл в формате WAV, MP3, M4A, AIFF, OGG, OGX, WEBM или  AAC, а после — приступить к работе над аудио. Второй вариант предлагает все те же возможности и настройки, только записать свой голос (любой продолжительности) придется с помощью голосового ввода на сервисе. Вариантов того, что с ними можно сделать, действительно много. 

Сервис предполагает несколько тарифов для пользования:

— Бесплатный тариф дает возможность записывать аудиофайлы онлайн и моделировать до 10 звуковых таких в месяц с продолжительностью каждого до 30 секунд, а также предоставляет 8 шаблонов;

— Персональный тариф ($10 / месяц) позволяет загружать файлы и записывать в режиме онлайн с продолжительностью каждого до 5 минут; предоставляет доступ ко всем инструментам редактирования, всем шаблонам, а также к API и коммерческой лицензии;

— Тариф «Создатель» ($25 / месяц) позволяет загружать файлы и записывать в режиме онлайн с продолжительностью каждого до 30 минут; предоставляет доступ ко всем инструментам редактирования, всем шаблонам, а также к API и коммерческой лицензии, а также к возможности клонирования голоса в одном файле и перемещения его в другой.

• Boomy (бесплатно и платно)

Это еще один сервис на базе ИИ, позволяющий генерировать музыку. С помощью Boomy пользователям доступно создание треков, которые впоследствие возможно свободно размещать на более чем 40 онлайн-платформах, вроде YouTube, TikTok и Spotify.

Его также можно отнести к довольно простым и интуитивно понятным в использовании сервисам. Для создания треков нужно перейти в раздел генерации, определить жанр со стилистикой трека, после чего нейросеть сама подберет для пользователя мелодию, тональность и аккорды. 

Преимущество Boomy заключается в том, что сгенерированную композицию пользователи могут менять на свое усмотрение, добавлять эффекты, изменяя или вовсе убирая фрагменты. А на финальном этапе есть возможность даже вставить свой голос или изменить аранжировку. 

Треки, созданные нейросетью, свободны для скачивания и размещения на онлайн-ресурсах, притом сервис предоставляет передачу авторских прав и вывод авторских отчислений через PayPal.

Сервис предполагает несколько тарифов для пользования:

— Бесплатный тариф позволяет генерировать до 25 треков в месяц, предоставляет доступ к основным инструментам редактирования и даже создание до 3 релизов;

— Тариф «Создатель» ($14,9 / месяц) позволяет генерировать до 500 треков и 5 релизов в разных форматах, предоставляет доступ к расширенным инструментам редактирования, а также ускоренную генерацию;

— Тариф «Профессиональный» ($39 / месяц) рассчитан на несколько пользователей и предоставляет все возможности тарифа «Создатель» + возможность коммерческого использования в интернет-ресурсах. 

• Riffusion (бесплатно)

Этот сервис предназначен для генерации музыкальных композиций, но, в отличие от предыдущих, не по текстовому запросу, а по визуальному. 

Порадуем — рисовать никому не придется, работает нейросеть так: пользователи пишут запрос для генерации спектрограммы, которая впоследствии конвертируется в аудио формат. Модель, в свою очередь, обучалась на связке «аудио — текстовый запрос», поэтому она сможет создать и афробит, и кей-поп, и десятки других жанров музыки. 

Более того, сервис позволяет пользователям необычно миксовать стили и жанры. К примеру, попросить нейросеть создать спектрограмму с басом стука — и она наложит на мелодию биты с подобным звучанием.

Скачать сгенерированные нейросетью треки не получится — есть вариант только поделиться ими в социальных сетях, притом с указанием источника. Однако размещать их можно свободно на платформе — у сервиса набралось активное сообщество, так что вполне получится найти «своих» слушателей. В ленте сервиса можно регулярно наблюдать релизы новых композиций, продвижение и их активное обсуждение. 

Одно из ключевых преимуществ сервиса — неограниченный и бесплатный доступ к генерации треков. Достаточно просто зарегистрироваться и приступить к созданию своих уникальных звуков и мелодий. 

• Jukebox (на этапе разработки)

И вишенка на торте — «музыкальная» нейронка от инновационного гиганта OpenAI

Jukebox —  это свежая (и еще не запущенная) нейросеть, генерирующая песни. Модель обучается на 1,2 млн песнях различных музыкальных групп, вокалистов, певцов и композиторов. С помощью нее будет возможно генерировать мелодии разных стилей и жанров, а также добавлять в них вокальное сопровождение. Сервис еще находится на этапе разработки, но релиз ожидается в ближайшее время

Модель использует нейронные сети для анализа данных композиций, самостоятельного обучения на их основе и сочинения оригинальных мелодий, которые впоследствие любой пользователь сможет использовать свободно, притом не нарушая авторские права. Благодаря нейросети пользователи смогут создавать мелодии в стилях хип-хоп, джаз, поп, рок, классики и других. Более того, сервис сможет похвастаться способностью генерации музыки, которую порой ничем не отличишь от естественной записи профессиональными музыкантами.

Перед тем, как получить готовую уникальную композицию, пользователи, как и с нейросетями выше, должен будет сформировать текстовый запрос, указать настроение желаемой мелодии, жанр, стиль, инструмент, длительность и несколько других параметров, необходимых для получения музыкальной композиции.

Согласно официальному сайту, команда OpenAI продолжает работать над улучшением своей «музыкальной» нейросети. Так, к примеру, на текущий момент ведется работа над сжатием звука в дискретное пространство с помощью автоматического кодирования. Новая возможность должна позволить генеративной модели снять ограничения на естественные символы: человеческий голос, тембр, динамику и выразительность. Иными словами, сделать генерацию музыки более «человечной». 

Более того, пользователи могут настраивать параметры своих песен, такие как темп, ритм, гармония и мелодия, чтобы создавать уникальные звуки. 

На текущий момент эта модель находится в процессе разработки и доступна в тестовом варианте только части пользователей.