С помощью более чем 5000 геймеров исследователи показывают, что прогнозные модели, основанные на огромных наборах данных , маркированных геймерами из разных стран, предлагают более персонализированные игровые рекомендации, чем модели, маркированные геймерами из одной страны.

Выводы команды и соответствующие рекомендации имеют широкое применение, помимо игр, для исследователей и практиков, которые ищут более глобально применимую маркировку данных и, в свою очередь, более точные модели прогнозного искусственного интеллекта (ИИ).

«Мы показываем, что на самом деле вы можете добиться того же результата, если не лучше, диверсифицируя базовые данные, которые используются в прогнозных моделях», — сказала Эллисон Кенеке, доцент кафедры информатики в Корнеллском колледже вычислений Энн С. Бауэрс. и информатика.

Кенеке является старшим автором книги « Аудит межкультурной согласованности меток, аннотированных человеком для рекомендательных систем », которая была представлена ​​на конференции Ассоциации по справедливости, подотчетности и прозрачности вычислительной техники (ACM FAccT) в июне.

Массивные наборы данных используются в прогнозных моделях, лежащих в основе систем рекомендаций. Точность модели зависит от лежащих в ее основе данных, особенно от правильной маркировки каждого отдельного предмета в этом огромном сокровище. Исследователи и практики все чаще обращаются к краудсорсинговым работникам, чтобы сделать для них такую ​​маркировку, но краудсорсинговая рабочая сила, как правило, однородна.

По словам Кенеке, на этом этапе маркировки данных могут закрасться культурные предубеждения и, в конечном итоге, исказить прогностическую модель, предназначенную для обслуживания глобальной аудитории.

«Для наборов данных, используемых в алгоритмических процессах, кто-то все равно должен придумать какие-то правила или просто какое-то общее представление о том, что значит, чтобы точка данных была каким-то образом помечена», — сказал Кенеке. «Вот здесь и проявляется человеческий аспект, потому что на каком-то этапе этого процесса людям действительно приходится принимать решения».

Команда опросила 5174 геймера Xbox со всего мира, чтобы помочь в маркировке игровых игр. Их попросили присвоить играм, в которые они играли, такие ярлыки, как «уютные», «фэнтези» или «пацифистские», а также учитывать различные факторы, например, является ли игра низкой или высокой сложностью, а также сложность управления игрой.

Некоторые игровые ярлыки, например «дзен», который используется для описания мирных, успокаивающих игр, применялись последовательно во всех странах; другие, например, является ли игра «переигрываемой», применялись непоследовательно. Чтобы объяснить эти несоответствия, команда использовала вычислительные методы и обнаружила, что как культурные различия среди геймеров, так и переводческие и лингвистические особенности определенных ярлыков способствуют различиям в маркировке между странами.

Затем исследователи построили две модели, которые могли предсказать, как геймеры из каждой страны назовут определенную игру: в одну были включены данные опросов геймеров со всего мира, а во второй использовались данные опросов только геймеров из США. Они обнаружили, что модель, обученная на ярлыках из разных групп населения по всему миру, улучшила прогнозы для геймеров во всем мире на 8% по сравнению с другой моделью, обученной на ярлыках только американских геймеров.

«Мы видим улучшение для всех — даже для геймеров из США — когда данные обучения переходят от полностью ориентированных на США к более глобальным репрезентативным», — сказал Кенеке.

В дополнение к своим выводам исследователи разработали систему, которая поможет коллегам-исследователям и практикам проверять основные метки данных для проверки глобальной инклюзивности.

«Компании, как правило, используют однородные средства разметки данных для разметки данных, и если вы попытаетесь создать глобальный продукт, вы столкнетесь с проблемами», — сказал Кенеке. «Благодаря нашей структуре любой академический исследователь или практик может проверить свои собственные базовые данные, чтобы увидеть, не сталкиваются ли они с проблемами представления через свои метки данных или выбор».