Компания Google DeepMind, специализирующаяся на искусственном интеллекте, анонсировала 16 ноября 2023 года модель искусственного интеллекта для создания музыки «Lyria», а также два набора инструментов «Dream Track» и «Music».
До сих пор моделям ИИ было сложно генерировать длинные последовательности звуков. Музыка часто включает в себя одновременно звуки нескольких человеческих голосов и инструментов, поэтому это очень непростая задача. Модель искусственного интеллекта «Lyria» способна генерировать высококачественную инструментальную музыку, включая вокал.
Google DeepMind анонсировал инструмент под названием «Dream Track» как набор инструментов, который может использовать Lyria. С помощью Dream Track пользователи указывают жанр, настроение и тему музыки, которую они хотят создать, и выбирают исполнителя, который будет исполнять вокал, и он создаст до 30 секунд музыки для короткометражек на YouTube.
Dream Track тестировали различные музыканты с 16 ноября 2023 года. Google DeepMind также объявила, что выпустит инструмент под названием «Music AI Tools» для Music AI Incubator во второй половине 2023 года. Music AI Tools позволяет создавать музыкальные треки, не играя на каких-либо инструментах.
Ниже приведено демонстрационное видео с использованием Music AI Tools. В этом видео показано, как при помощи битбокса создается музыка, напоминающая настоящие барабаны.
На видео ниже инструменты Music AI Tools преобразуют напеваемые фразы так, чтобы они звучали как оркестр.
На видео ниже показано, новы, сыгранные на MIDI-клавиатуре, преобразуется в нечто, похожее на акапельный голос.
С помощью Music AI Tools пользователи могут использовать при генерации музыки различные функции. Например, фортепиано или эффект реверберации.
Google DeepMind сообщает, что музыка, созданная с помощью Lyria, будет иметь цифровой водяной знак SynthID, который указывает на то, что контент создан искусственным интеллектом. Встраивание водяного знак с помощью SynthID делает возможным идентифицировать контент, созданный искусственным интеллектом, даже если он синтезируется с шумом, сжимается в MP3 или меняет скорость воспроизведения. Примечательно, что этот водяной знак не слышен для человека и не отвлекает от прослушивания.
Dream Track уже вышла ограниченным тиражом для музыкантов, для широкой публики инструменты Music AI появятся только позднее в этом году. DeepMind назвали функционал, который они разрабатывают: создание музыки на определенном инструменте или создание целого набора инструментов, основанного на напевании мелодии; создние звуков хора при помощи MIDI клавиатуры; и создание минусовок и инструментальных треков для вокальной партии (или комбинация всех этих возможностей).
