Исследователи из Стэнфордского института инженерии разработали обученную с помощью искусственного интеллекта модель, которая точно воссоздает движения рук профессиональных пианистов и физические нагрузки, которые они испытывают во время игры.

Профессиональные пианисты проводят бесчисленное количество часов за клавишами, совершенствуя свое мастерство. Для людей с маленькими руками эта преданность может быть физически тяжелой. Повторное растягивание для того, чтобы дотянуться до далеких клавиш в аккорде, может напрягать мышцы и суставы и может привести к тендиниту, синдрому запястного канала и другим травмам.

Исследователи из Стэнфорда работают над пониманием сил, задействованных в движениях рук элитных пианистов, и того, как они меняются в зависимости от размера рук и ширины клавиатуры. 5 декабря на конференции SIGGRAPH Asia 2024 исследователи из Стэнфордского инженерного университета представили обученную с помощью искусственного интеллекта модель, которая может воссоздавать движения рук, необходимые для исполнения сложных музыкальных произведений, и физические нагрузки, которым подвергаются эти руки.

Это первый шаг в попытке снизить риск долгосрочных травм у пианистов и протестировать решения (например, более узкую клавиатуру), которые могли бы сделать игру на фортепиано более доступной для всех.

«Мы никогда не ожидали бы, что спортсмен мирового класса будет соревноваться с оборудованием, которое не подходит его телу. Тем не менее, мы просим пианистов, особенно женщин, адаптироваться к универсальному дизайну, который никогда не был разработан для них», — сказала Элизабет Шуман, директор по изучению клавиатур Билли Беннет Ахиллес в Стэнфорде и соавтор статьи. «Мы можем использовать такие исследования, чтобы изменить будущее исполнительства и сделать его более устойчивым».

Захват элитного исполнения

Современная клавиатура пианино была разработана в 19 веке с учетом потребностей среднестатистического европейского мужчины. Сегодня, по оценкам, 87% взрослых женщин и 24% взрослых мужчин имеют руки, которые меньше идеальных для стандартного пианино. Использование традиционных методов для изучения влияния маленьких рук потребовало бы наблюдения за группой пианистов в течение десятилетий, и все еще может быть сложно количественно оценить риски травм или протестировать решения.

Вместо этого исследователи записали движения рук профессиональных пианистов и с помощью искусственного интеллекта предсказали, как будут двигаться руки разного размера при исполнении новой музыки.

Шуман и ее коллеги наняли 15 элитных пианистов, чтобы они сыграли в общей сложности 10 часов музыки, пока камеры снимали их руки со всех сторон. Исследователи не могли разместить никаких датчиков на музыкантах, не мешая им играть, поэтому они использовали передовые методы компьютерного зрения, чтобы объединить видео и реконструировать движения рук музыкантов в трех измерениях. Они использовали дополнительную обработку, чтобы убедиться, что эти движения идеально синхронизированы со звуком.

«Качество данных, которых нам удалось достичь, беспрецедентно», — сказала Карен Лю, профессор компьютерных наук в Стэнфорде и ведущий автор статьи. «Дело не только в том, что реконструированные 3D-движения точны и чисты; качество самого исполнения поистине замечательное. Мы смогли запечатлеть разнообразные движения группы талантливых музыкантов, выступающих на высоком уровне — я раньше не видела подобного набора данных».

Рученг Ван, аспирант в лаборатории Лю, и Пэй Сюй, научный сотрудник, получивший докторскую степень, использовали этот набор данных для обучения модели точному генерированию новых данных по игре на фортепиано. Когда они давали модели ноты, которые она никогда не видела, например, «К Элизе» Бетховена, модель могла предоставить правильные 3D-движения рук, необходимые для исполнения произведения, используя имитацию фортепиано для генерации звука.

«Я был просто ошеломлен тем, насколько точно эта модель может имитировать технику элитного уровня», — сказал Шуманн. «Это действительно невероятно».

От роботизированных суставов к настоящим мышцам

Эта модель — лишь первый шаг для Лю, Шумана и их коллег. На данный момент модель может физически имитировать движения рук, но она не имитирует мышцы и сухожилия, которые создают эти движения, или напряжение, которому они подвергаются.

«Мы пока не достигли уровня биомеханики, где приведение в действие рук осуществляется мышцами, — в настоящее время наша модель больше похожа на робота, который напрямую генерирует крутящий момент в суставах», — сказал Лю. «В конечном итоге наша модель должна уметь предсказывать уровень напряжения мышц и потенциальную травму».

В настоящее время исследователи работают над добавлением этих слоев в свою модель, чтобы они могли использовать ее, чтобы помочь пианистам, особенно с маленькими руками, избегать травм. Они также адаптируют свою работу для моделирования движений других ловких музыкантов. Они применили некоторые из тех же методов к существующему набору данных движений рук высококвалифицированных гитаристов.

Их результаты, которые также были недавно представлены на конференции SIGGRAPH Asia 2024 , показали, что они могут успешно моделировать отдельные движения левой и правой руки, необходимые для исполнения разнообразной популярной и классической музыки.

«С высококачественными данными мы могли бы моделировать 3D-движения, необходимые и для других типов исполнения музыки», — сказал Лю. «Это не модель , которая заменяет людей — мы работаем с музыкантами, чтобы помочь им понять и решить проблемы. Этот проект направлен на развитие людей, а ИИ — всего лишь инструмент для этого».