В 1995 году редактор французского модного журнала Жан-Доминик Боби перенес припадок во время вождения автомобиля, в результате чего у него развилось состояние, известное как синдром запертого человека, неврологическое заболевание, при котором пациент полностью парализован и может двигать только мышцами, контролирующими движения глаза.

Боби, подписавший контракт на книгу незадолго до аварии, написал мемуары «Скафандр и бабочка», используя систему диктовки, в которой его логопед декламировал алфавит, а он моргал, когда она называла правильную букву. Они написали 130-страничную книгу одним махом за раз.

Технологии прошли долгий путь после несчастного случая с Боби. Многие люди с тяжелыми двигательными нарушениями, вызванными синдромом запертости, церебральным параличом, боковым амиотрофическим склерозом или другими состояниями, могут общаться с помощью компьютерных интерфейсов, где они выбирают буквы или слова в сетке на экране, активируя один переключатель, часто нажатием кнопки. выпуская струйку воздуха или моргая.

Но эти системы сканирования строк и столбцов очень жесткие, и, подобно технике, используемой логопедом Боби, они выделяют каждый вариант по одному, что делает их раздражающе медленными для некоторых пользователей. И они не подходят для задач, где параметры нельзя расположить в виде сетки, например, рисование, просмотр веб-страниц или игры.

Более гибкая система , разрабатываемая исследователями Массачусетского технологического института, размещает отдельные индикаторы выбора рядом с каждым вариантом на экране компьютера. Индикаторы можно размещать где угодно — рядом с тем, что кто-то может щелкнуть мышью, — поэтому пользователю не нужно циклически просматривать сетку вариантов, чтобы сделать выбор. Система под названием Nomon включает в себя вероятностные рассуждения, чтобы узнать, как пользователи делают выбор, а затем настраивает интерфейс для повышения их скорости и точности.

Участники пользовательского исследования смогли печатать быстрее с помощью Nomon, чем с системой сканирования столбцов строк. Пользователи также лучше справились с задачей выбора изображения, демонстрируя, что Nomon можно использовать не только для набора текста.

«Это так здорово и захватывающе — иметь возможность разрабатывать программное обеспечение, которое может действительно помочь людям. Возможность находить эти сигналы и превращать их в коммуникацию, к которой мы привыкли, — действительно интересная задача», — говорит старший автор Тамара. Бродерик, доцент кафедры электротехники и информатики Массачусетского технологического института (EECS) и член Лаборатории информационных систем и систем принятия решений и Института данных, систем и общества.

Вместе с Бродериком в статье участвуют ведущий автор Николас Бонакер, аспирант EECS; Эмли-Мари Нел, руководитель отдела инноваций и машинного обучения в Averly и приглашенный лектор в Университете Витватерсранда в Южной Африке; и Кит Вертанен, доцент Мичиганского технологического института. Исследование будет представлено на конференции ACM по человеческому фактору в вычислительных системах.

На часах

В интерфейсе Nomon маленькие аналоговые часы расположены рядом с каждой опцией, которую может выбрать пользователь. (Гномон — это часть солнечных часов, отбрасывающая тень.) Пользователь смотрит на один вариант, а затем щелкает переключателем, когда стрелка этих часов пересекает красную линию «полдень». После каждого щелчка система меняет фазы часов, чтобы выделить наиболее вероятные следующие цели. Пользователь нажимает несколько раз, пока его цель не будет выбрана.

При использовании в качестве клавиатуры алгоритмы машинного обучения Nomon пытаются угадать следующее слово на основе предыдущих слов и каждой новой буквы по мере того, как пользователь делает выбор.

Бродерик разработал упрощенную версию Nomon несколько лет назад, но решил пересмотреть ее, чтобы упростить использование системы людьми с двигательными нарушениями. Она заручилась помощью тогдашнего студента Бонакера, чтобы изменить интерфейс.

Сначала они проконсультировались с некоммерческими организациями, которые работают с людьми с двигательными нарушениями, а также с пользователями переключателей с двигательными нарушениями, чтобы собрать отзывы о конструкции Nomon.

Затем они разработали пользовательское исследование, которое лучше отражало бы способности людей с двигательными нарушениями. Они хотели убедиться, что тщательно проверили систему, прежде чем использовать большую часть драгоценного времени пользователей с нарушениями моторики, поэтому они сначала протестировали пользователей, не переключающихся, объясняет Бродерик.

Переключение переключателя

Чтобы собрать более репрезентативные данные, Бонакер разработал переключатель на основе веб-камеры, который было сложнее использовать, чем просто щелкнуть по клавише. Пользователям без переключателя приходилось наклоняться к одной стороне экрана, а затем обратно к другой стороне, чтобы зарегистрировать щелчок.

«И они должны делать это точно в нужное время, поэтому это действительно их замедляет. Мы провели несколько эмпирических исследований , которые показали, что время реакции у них было намного ближе к времени реакции людей с двигательными нарушениями», — говорит Бродерик.

Они провели исследование пользователей из 10 сеансов с 13 участниками, не переключившимися, и одним пользователем с одним переключением с запущенной формой спинальной мышечной дистрофии. В первых девяти сеансах участники использовали Nomon и интерфейс сканирования строк и столбцов в течение 20 минут каждый для ввода текста, а на 10-м сеансе они использовали две системы для задачи выбора изображения.

Пользователи без переключения печатали на 15% быстрее, используя Nomon, в то время как пользователь с двигательными нарушениями печатал даже быстрее, чем пользователи без переключения. При наборе незнакомых слов пользователи в целом работали на 20% быстрее и делали в два раза меньше ошибок. На последнем занятии они смогли выполнить задание по выбору изображения на 36 процентов быстрее, используя Nomon.

«Nomon гораздо более щадящий, чем сканирование строк-столбцов. При сканировании строк-столбцов, даже если вы немного ошиблись, теперь вы выбрали B вместо A, и это ошибка», — говорит Бродерик.

Адаптация к шумным щелчкам

Благодаря вероятностным рассуждениям Nomon включает в себя все, что ему известно о том, где пользователь может щелкнуть, чтобы сделать процесс быстрее, проще и менее подверженным ошибкам. Например, если пользователь выбирает «Q», Nomon максимально упростит для пользователя выбор следующего «U».

Nomon также узнает, как пользователь нажимает. Таким образом, если пользователь всегда немного щелкает после того, как стрелка часов пробьёт полдень, система адаптируется к этому в режиме реального времени. Он также адаптируется к шуму. Если пользовательский клик часто не соответствует действительности, система требует дополнительных кликов для обеспечения точности.

Это вероятностное рассуждение делает Nomon мощным, но также требует более высокой кликовой нагрузки, чем системы сканирования строк и столбцов. Многократное нажатие может быть сложной задачей для пользователей с серьезными двигательными нарушениями.

Бродерик надеется уменьшить количество кликов, включив в Nomon отслеживание взгляда, что даст системе более надежную информацию о том, что пользователь может выбрать дальше, в зависимости от того, на какую часть экрана он смотрит. Исследователи также хотят найти лучший способ автоматической регулировки тактовой частоты, чтобы помочь пользователям быть более точными и эффективными.

Они работают над новой серией исследований, в которых планируют сотрудничать с большим количеством пользователей с двигательными нарушениями.

«До сих пор отзывы пользователей с двигательными нарушениями были для нас неоценимы; мы очень благодарны пользователю с двигательными нарушениями, который прокомментировал наш первоначальный интерфейс, и отдельному пользователю с двигательными нарушениями, участвовавшему в нашем исследовании. в настоящее время расширяем наше исследование, чтобы работать с более крупной и разнообразной группой нашей целевой аудитории. С их помощью мы уже вносим дальнейшие улучшения в наш интерфейс и работаем над тем, чтобы лучше понять эффективность Nomon», — говорит она.

«Неговорящие люди с двигательными нарушениями в настоящее время не обеспечены эффективными коммуникационными решениями для взаимодействия ни с говорящими партнерами, ни с компьютерными системами. Этот «коммуникативный разрыв» является известной нерешенной проблемой взаимодействия человека с компьютером, и до сих пор нет хороших решений. Документ демонстрирует, что очень творческий подход, основанный на статистической модели, может обеспечить ощутимый прирост производительности для пользователей, которые больше всего в этом нуждаются: не говорящих людей, которые полагаются на один коммутатор для общения», — говорит Пер Ола Кристенссон, профессор интерактивной системной инженерии в Кембриджском университете. , который не участвовал в этом исследовании. » В документе также демонстрируется ценность дополнения результатов вычислительных экспериментов привлечением конечных пользователей и других заинтересованных сторон к процессу проектирования. Я считаю, что это очень творческий и важный документ в области, где, как известно, трудно добиться значительного прогресса».