Искусственный интеллект превосходно справляется с сортировкой информации и обнаружением закономерностей или тенденций. Но эти алгоритмы машинного обучения сначала необходимо обучить на больших объемах данных.

По мере того, как исследователи изучают потенциальные применения ИИ, они обнаруживают сценарии, в которых ИИ может быть действительно полезен — например, анализ данных рентгеновских изображений для поиска доказательств редких условий или обнаружение редких видов рыб, пойманных на коммерческом рыболовном судне, — но это не так. достаточно данных для точного обучения алгоритмов.

Дженк-Ненг Хванг, профессор электротехники, вычислительной техники и инженерии Вашингтонского университета, специализируется на этих вопросах. Например, Хван и его команда разработали метод, который учит ИИ отслеживать, сколько различных поз ребенок может принять в течение дня. Наборы данных для обучения младенцев ограничены, а это означало, что исследователям пришлось создать уникальный конвейер, чтобы сделать свой алгоритм точным и полезным.

Недавно команда представила эту работу на зимней конференции IEEE/CVF по приложениям компьютерного зрения 2024. Исследование доступно на сервере препринтов arXiv.

UW News поговорил с Хваном о деталях проекта и других не менее сложных областях, над которыми работает команда.

Почему важно разработать алгоритм отслеживания поз ребенка?

Мы начали сотрудничество с Медицинской школой Университета Вашингтона и лабораторией искусственного интеллекта Корейского научно-исследовательского института электроники и телекоммуникаций. Целью проекта было попытаться помочь семьям с историей аутизма узнать, может ли их ребенок также страдать аутизмом. У детей до 9 месяцев еще нет языковых навыков, поэтому трудно определить, аутисты они или нет.

Исследователи разработали один тест, названный «Шкала моторики младенцев Альберты» , который классифицирует различные позы, которые могут выполнять младенцы: если ребенок может это сделать, он получает два балла; и если они смогут это сделать, они получат три очка; и так далее. Затем вы суммируете все баллы, и если ребенок превышает определенный порог, скорее всего, у него нет аутизма.

Но чтобы сделать этот тест, вам нужен врач, который будет наблюдать за всеми различными позами. Это становится очень утомительным процессом, потому что иногда по прошествии трех или четырех часов мы все еще не видим, чтобы ребенок принимал определенную позу. Может быть, малыши и смогли бы это сделать, но в тот момент они этого не захотели. Одним из решений может быть использование ИИ. У родителей часто дома есть радионяня. Радионяня может использовать искусственный интеллект для непрерывного и последовательного отслеживания различных поз, которые ребенок принимает в течение дня.

Почему ИИ хорошо подходит для этой задачи?

По образованию я изучаю традиционную обработку изображений и компьютерное зрение. Мы пытались научить компьютеры определять позы людей по фотографиям и видео, но проблема в том, что существует так много вариаций. Например, даже один и тот же человек в разной одежде представляет собой сложную задачу для традиционной обработки изображений, чтобы правильно идентифицировать локоть этого человека на каждой фотографии.

Но ИИ делает это намного проще. Эти модели умеют учиться. Например, вы можете обучить модель машинного обучения с помощью различных последовательностей захвата движения, показывающих самых разных людей. Эти последовательности могут быть аннотированы соответствующими трехмерными позами. Затем эта модель могла бы научиться выводить 3D-модель позы человека в последовательности, которую она никогда раньше не видела.

Но в этом случае не так много последовательностей захвата движений младенцев, которые также имеют трехмерные аннотации поз, которые вы могли бы использовать для обучения своей модели машинного обучения. Что ты сделал вместо этого?

У нас не так много 3D-аннотаций детских видеороликов для обучения модели машинного обучения по соображениям конфиденциальности. Также сложно создать набор данных, в котором ребенок выполняет все возможные потенциальные позы, которые нам могут понадобиться. Наши наборы данных слишком малы, а это означает, что модель, обученная с их помощью, не сможет оценить надежные позы.

Но у нас есть много аннотированных трехмерных последовательностей движений людей в целом. Итак, мы разработали этот конвейер.

Сначала мы использовали большое количество трехмерных последовательностей движений обычных людей для обучения общей трехмерной модели генеративного ИИ , которая похожа на модель, используемую в ChatGPT и других больших языковых моделях GPT-4.

Затем мы доработали нашу общую модель с помощью нашего очень ограниченного набора данных аннотированных последовательностей движений ребенка. Общая модель затем может адаптироваться к небольшому набору данных и давать результаты высокого качества.

Есть ли еще подобные задачи: хорошо для ИИ, но данных для обучения алгоритма мало?

Существует множество типов сценариев, в которых нам недостаточно информации для обучения модели. Одним из примеров является редкое заболевание , которое диагностируется с помощью рентгена. Заболевание настолько редкое, что у нас недостаточно рентгеновских изображений пациентов с этим заболеванием для обучения модели. Но у нас есть много рентгенограмм здоровых пациентов. Таким образом, мы можем снова использовать генеративный искусственный интеллект для создания соответствующего синтетического рентгеновского изображения без заболевания, которое затем можно сравнить с изображением больного, чтобы определить области заболевания для дальнейшей диагностики.

Еще один пример — автономное вождение. Есть так много реальных событий, которые вы не можете создать. Например, предположим, что вы находитесь за рулем, и перед машиной падает несколько листьев. Если вы используете автономное вождение , машина может подумать, что что-то не так, и нажать на тормоза, потому что она никогда раньше не сталкивалась с таким сценарием. Это может привести к аварии.

Мы называем эти события «длинным хвостом», что означает, что они вряд ли произойдут. Но в повседневной жизни мы всегда видим подобные случайные вещи. Пока мы не выясним, как научить системы автономного вождения справляться с событиями такого типа, автономное вождение не может быть полезным. Наша команда работает над этой проблемой, объединяя данные обычной камеры с радиолокационной информацией. Камера и радар постоянно проверяют решения друг друга, что может помочь алгоритму машинного обучения понять, что происходит.

Дополнительными соавторами статьи о позах ребенка являются Чжуоран Чжоу, научный сотрудник факультета электротехники и компьютерной техники Университета Вашингтона; Чжунъюй Цзян и Ченг-Йен Ян, аспиранты факультета электротехники и вычислительной техники Университета Вашингтона; Вэньхао Чай, магистрант Университета Вашингтона, изучающий электротехнику и вычислительную технику; и Лэй Ли, докторант Копенгагенского университета.