Генерация текста в аудио уже здесь: одним из следующих крупных прорывов ИИ может стать музыкальная индустрия.
За последние несколько лет произошел взрыв применения искусственного интеллекта в творческих областях. Новое поколение генераторов изображений и текста дает впечатляющие результаты . Теперь ИИ нашел применение и в музыке.
На прошлой неделе группа исследователей из Google выпустила MusicLM — генератор музыки на основе искусственного интеллекта, который может преобразовывать текстовые подсказки в аудиофрагменты. Это еще один пример быстрого темпа инноваций за несколько невероятных лет для творческого ИИ.
Поскольку музыкальная индустрия все еще приспосабливается к сбоям, вызванным Интернетом и потоковыми сервисами, существует большой интерес к тому, как ИИ может изменить то, как мы создаем и воспринимаем музыку.
Автоматизация создания музыки
Ряд инструментов искусственного интеллекта теперь позволяют пользователям автоматически создавать музыкальные последовательности или аудиосегменты. Многие из них бесплатны и имеют открытый исходный код , например, инструментарий Magenta от Google.
Два наиболее известных подхода к созданию музыки с помощью ИИ:
- continue , где ИИ продолжает последовательность нот или волновых данных, и
- гармонизация или аккомпанемент , когда ИИ генерирует что-то, дополняющее входные данные, например аккорды для мелодии.
Подобно искусственному интеллекту, генерирующему текст и изображения, музыкальные системы искусственного интеллекта можно обучать на различных наборах данных. Например, вы можете расширить мелодию Шопена, используя систему, обученную в стиле Бон Джови, как это прекрасно продемонстрировано в MuseNet от OpenAI.
Такие инструменты могут стать источником вдохновения для художников с «синдромом пустого листа», даже если последний толчок привнесет сам художник. Творческая стимуляция — одно из непосредственных применений творческих инструментов искусственного интеллекта сегодня.
Но когда эти инструменты могут оказаться еще более полезными, так это в расширении музыкального опыта. Многие люди могут написать мелодию, но немногие знают, как искусно манипулировать аккордами, чтобы вызвать эмоции, или как писать музыку в различных стилях.
Хотя инструменты искусственного интеллекта для музыки могут надежно выполнять работу талантливых музыкантов, несколько компаний разрабатывают платформы искусственного интеллекта для создания музыки.
Boomy идет по пути минимализма: пользователи без музыкального опыта могут создать песню несколькими щелчками мыши, а затем изменить ее аранжировку. Aiva использует аналогичный подход, но позволяет более точно контролировать; исполнители могут редактировать сгенерированную музыку по нотам в пользовательском редакторе.
Однако есть одна загвоздка. Известно, что методы машинного обучения трудно контролировать, и создание музыки с использованием ИИ на данный момент является чем-то вроде удачного провала; вы можете иногда находить золото, используя эти инструменты, но вы можете не знать, почему.
Постоянная задача для людей, создающих эти инструменты ИИ, — обеспечить более точный и преднамеренный контроль над тем, что производят генеративные алгоритмы.
Новые способы управления стилем и звуком
Инструменты музыкального ИИ также позволяют пользователям преобразовывать музыкальную последовательность или аудиосегмент. Например, технология библиотеки дифференциальной цифровой обработки сигналов Google Magenta выполняет перенос тембра.
Тембр — это технический термин, обозначающий текстуру звука — различие между автомобильным двигателем и свистком. Используя перенос тембра, можно изменить тембр сегмента аудио.
Такие инструменты — отличный пример того, как ИИ может помочь музыкантам создавать богатые оркестровки и добиваться совершенно новых звуков. В первом конкурсе песни AI , который состоялся в 2020 году, сиднейская музыкальная студия Uncanny Valley (с которой я сотрудничаю) использовала перенос тембра, чтобы добавить в микс поющих коал.
Передача тембра присоединилась к долгой истории методов синтеза, которые сами по себе стали инструментами.
Разбираем музыку
Генерация и трансформация музыки — это лишь часть уравнения. Давней проблемой в работе со звуком является «разделение источников». Это означает возможность разбить аудиозапись трека на отдельные инструменты.
Хотя это и не идеально, разделение источников на основе ИИ прошло долгий путь. Его использование, вероятно, будет иметь большое значение для художников; некоторым из них не понравится, что другие могут «взломать замок» на их композициях.
Между тем, ди-джеи и исполнители мэшапов получат беспрецедентный контроль над тем, как они микшируют и микшируют треки. Стартап Audioshake , занимающийся разделением источников, утверждает, что это обеспечит новые потоки доходов для артистов, которые позволяют легче адаптировать свою музыку, например, для телевидения и кино.
Артистам, возможно, придется смириться с тем, что ящик Пандоры открыт, как это было в случае, когда впервые появились синтезаторы и драм-машины, которые в некоторых обстоятельствах заменили потребность в музыкантах в определенных контекстах.
Но следите за этим пространством, потому что законы об авторском праве обеспечивают художникам защиту от несанкционированных манипуляций с их работами. Это, вероятно, станет еще одной серой зоной в музыкальной индустрии, и регулированию может быть трудно за ней угнаться .
Новые музыкальные впечатления
Популярность плейлистов показала, насколько нам нравится слушать музыку, имеющую некоторую «функциональную» полезность , например, чтобы сосредоточиться, расслабиться, заснуть или потренироваться.
Стартап Endel сделал функциональную музыку на основе искусственного интеллекта своей бизнес-моделью, создавая бесконечные потоки, чтобы помочь максимизировать определенные когнитивные состояния.
Музыка Энделя может быть связана с физиологическими данными, такими как частота сердечных сокращений слушателя. Его манифест в значительной степени опирается на практику осознанности и содержит смелое предложение, что мы можем использовать «новые технологии, чтобы помочь нашему телу и мозгу адаптироваться к новому миру» с его лихорадочным и вызывающим тревогу темпом.
Другие стартапы также изучают функциональную музыку. Айми изучает, как отдельные производители электронной музыки могут превратить свою музыку в бесконечные и интерактивные потоки.
Приложение прослушивания Aimi предлагает фанатам манипулировать генеративными параметрами системы, такими как «интенсивность» или «текстура», или решать, когда произойдет падение. Слушатель занимается музыкой, а не слушает пассивно.
Трудно сказать, сколько тяжелой работы ИИ делает в этих приложениях — потенциально мало. Тем не менее, такие достижения определяют видение компаний того, как музыкальный опыт может развиваться в будущем.
Будущее музыки
Упомянутые выше инициативы противоречат нескольким давно установленным традициям, законам и культурным ценностям в отношении того, как мы создаем музыку и распространяем ее.
Будут ли ужесточены законы об авторском праве, чтобы компании, обучающие системы искусственного интеллекта работать с произведениями художников, получали компенсацию этим художникам? И за что будет эта компенсация? Будут ли новые правила применяться к разделению источников? Будут ли музыканты, использующие ИИ, тратить меньше времени на создание музыки или будут создавать больше музыки, чем когда-либо прежде?
Если и есть что-то несомненное, так это перемены. По мере того как новое поколение музыкантов растет, погружаясь в творческие возможности ИИ, они находят новые способы работы с этими инструментами.
Такая турбулентность не является чем-то новым в истории музыкальных технологий, и ни мощные технологии, ни устоявшиеся условности не должны определять наше творческое будущее.
