Каждую осень я начинаю свой курс на пересечении музыки и искусственного интеллекта, спрашивая своих студентов, беспокоит ли их роль ИИ в сочинении или создании музыки.

До сих пор этот вопрос всегда вызывал твердое «да».

Их опасения можно выразить одним предложением: ИИ создаст мир, в котором музыки будет много, а музыканты останутся в стороне.

В предстоящем семестре я ожидаю обсуждения Пола Маккартни, который в июне 2023 года объявил, что он и команда звукоинженеров использовали машинное обучение, чтобы обнаружить «потерянный» вокальный трек Джона Леннона, отделив инструменты от демо . запись .

Но воскрешение голосов давно умерших артистов — это лишь вершина айсберга с точки зрения того, что возможно и что уже делается.

В интервью Маккартни признал, что ИИ представляет собой «страшное», но «захватывающее» будущее для музыки. На мой взгляд, его смесь ужаса и восторга уместна.

Вот три способа, которыми ИИ меняет способ создания музыки, каждый из которых может по-разному угрожать людям-музыкантам:

1. Композиция песни

Многие программы уже могут генерировать музыку по простой подсказке пользователя, например, «Электронный танец со складским грувом».

Полностью генеративные приложения обучают модели ИИ на обширных базах данных существующей музыки. Это позволяет им изучать музыкальные структуры, гармонии, мелодии, ритмы, динамику, тембры и формы, а также создавать новый контент, который стилистически соответствует материалу в базе данных.

Есть много примеров таких приложений. Но самые успешные из них, такие как Boomy , позволяют немузыкантам создавать музыку, а затем публиковать результаты, созданные ИИ, на Spotify, чтобы заработать деньги. Spotify недавно удалил многие из этих треков, сгенерированных Boomy , утверждая, что это защитит права артистов и гонорары.

Две компании быстро пришли к соглашению, которое позволило Boomy повторно загружать треки. Но алгоритмы, лежащие в основе этих приложений, по-прежнему имеют тревожную способность нарушать существующие авторские права , что может остаться незамеченным для большинства пользователей. В конце концов, создание новой музыки на основе набора данных существующей музыки обязательно вызовет заметное сходство между музыкой в ​​наборе данных и сгенерированным контентом.

Кроме того, стриминговые сервисы, такие как Spotify и Amazon Music, естественным образом заинтересованы в разработке собственных технологий создания музыки на основе искусственного интеллекта . Spotify, например, платит 70% дохода от каждого потока исполнителю, который его создал. Если бы компания могла генерировать эту музыку с помощью своих собственных алгоритмов, она могла бы полностью исключить людей-исполнителей из уравнения.

Со временем это может означать больше денег для гигантских потоковых сервисов, меньше денег для музыкантов и менее человеческий подход к созданию музыки.

2. Сведение и мастеринг

Приложения с поддержкой машинного обучения, которые помогают музыкантам сбалансировать все инструменты и очистить звук в песне — то, что известно как сведение и мастеринг, — являются ценными инструментами для тех, кому не хватает опыта, навыков или ресурсов для создания профессионально звучащих треков. .

За последнее десятилетие интеграция ИИ в производство музыки произвела революцию в способах сведения и мастеринга музыки. Приложения на основе ИИ, такие как Landr , Cryo Mix и Neutron от iZotope, могут автоматически анализировать треки, балансировать уровни звука и удалять шум.

Эти технологии оптимизируют производственный процесс, позволяя музыкантам и продюсерам сосредоточиться на творческих аспектах своей работы и оставить часть рутинной технической работы искусственному интеллекту.

Хотя эти приложения, несомненно, отнимают часть работы у профессиональных микшеров и продюсеров, они также позволяют профессионалам быстро выполнять менее прибыльные задания, такие как сведение или мастеринг для местной группы , и сосредоточиться на высокооплачиваемых комиссионных, требующих большей утонченности. Эти приложения также позволяют музыкантам создавать более профессионально звучащие работы без привлечения звукоинженера, которого они не могут себе позволить.

3. Инструментальное и вокальное исполнение

Используя алгоритмы «передачи тона» через такие приложения, как Mawf , музыканты могут преобразовывать звук одного инструмента в другой.

Песня тайского музыканта и инженера Ябои Ханоя « Enter Demons & Gods », которая выиграла третий международный конкурс песни AI в 2022 году, уникальна тем, что на нее повлияла не только тайская мифология, но и звуки местных тайских музыкальных инструментов, которые имеют незападную систему интонации. Одним из наиболее технически захватывающих аспектов записи Yaboi Hanoi было воспроизведение традиционного тайского деревянного духового инструмента — пинай , который был повторно синтезирован для исполнения трека.

Вариант этой технологии лежит в основе программного обеспечения для синтеза голоса Vocaloid , которое позволяет пользователям создавать убедительно человеческие вокальные треки с заменяемыми голосами.

Неприятные применения этой техники появляются за пределами музыкальной сферы. Например, голосовая подмена ИИ использовалась для выманивания у людей денег.

Но музыканты и продюсеры уже могут использовать его для реалистичного воспроизведения звука любого инструмента или голоса, который только можно вообразить. Обратной стороной, конечно же, является то, что эта технология может лишить инструменталистов возможности выступить на записанном треке.

С помощью передачи тона голос певца превращается в звук трубы. Джейсон Паламара, CC BY 289 KB (скачать)

Момент Дикого Запада ИИ

Хотя я приветствую победу Ябоя Ханоя, я должен задаться вопросом, побудит ли это музыкантов использовать ИИ для имитации культурной связи там, где ее нет.

В 2021 году Capitol Music Group попала в заголовки газет, подписав контракт с «ИИ-рэпером», которому дали аватар чернокожего мужчины-киборга, но который на самом деле был работой инженеров-программистов Factory New, не являющихся чернокожими. Реакция была быстрой, звукозаписывающий лейбл подвергся резкой критике за вопиющее культурное присвоение .

Но на музыкальную культурную апроприацию ИИ наткнуться легче, чем вы думаете. Учитывая необычайный размер песен и сэмплов, которые составляют наборы данных, используемые такими приложениями, как Boomy (см. «Набор данных на миллион песен» с открытым исходным кодом, чтобы оценить масштаб), есть большая вероятность, что пользователь может невольно загрузить только что сгенерированный трек, который заимствованы из культуры, которая им не принадлежит, или заимствованы у художника таким образом, который слишком близко имитирует оригинал. Что еще хуже, не всегда будет ясно, кто виноват в правонарушении, а действующие законы США об авторском праве противоречивы и крайне неадекватны задаче регулирования этих вопросов.

Это все темы, которые поднимались в моем собственном классе, что позволило мне, по крайней мере, проинформировать моих учеников об опасностях неконтролируемого ИИ и о том, как лучше всего избежать этих ловушек.

В то же время в конце каждого осеннего семестра я снова спрошу своих студентов, обеспокоены ли они захватом музыки ИИ. В этот момент, имея опыт изучения этих технологий в течение целого семестра, большинство из них говорят, что они рады видеть, как технология будет развиваться и куда пойдет область.

Некоторые темные возможности действительно ждут человечество и ИИ. Тем не менее, по крайней мере, в области музыкального ИИ есть основания для некоторого оптимизма — если избежать ловушек.