Автоматическое назначение ошибок было хорошо изучено в последнее десятилетие. Поскольку текстовые отчеты об ошибках обычно описывают явления ошибок и потенциальные причины, инженеры в значительной степени зависят от этих отчетов для исправления ошибок. Исследователи в значительной степени зависят от текстового содержания отчетов об ошибках для обнаружения файлов с ошибками. Однако шумы в текстах неожиданно оказывают неблагоприятное воздействие на автоматическое назначение ошибок, в основном из-за недостаточности классических методов обработки естественного языка (NLP).

Чтобы глубже понять влияние текстовых и номинальных признаков, исследовательская группа под руководством Цзэсюаня Ли опубликовала свое исследование в журнале Frontiers of Computer Science.

Команда воспроизвела технику обработки естественного языка, TextCNN, чтобы узнать, может ли улучшенная техника обработки естественного языка привести к лучшей производительности для текстовых признаков. Результаты показывают, что текстовые признаки не превосходят другие признаки даже при относительно продвинутой технике. Команда далее изучает влиятельные признаки для подходов к назначению ошибок и дает объяснение со статистической точки зрения.

Они обнаружили, что все выбранные влиятельные функции являются номинальными функциями, которые указывают на предпочтения разработчиков. Экспериментальные результаты показывают, что номинальные функции могут достигать конкурентоспособных результатов без использования текста.

В исследовании они попытались ответить на три вопроса. Во-первых, насколько эффективны текстовые признаки с методами NLP на основе глубокого обучения? Они воспроизводят TextCNN и сравнивают эффективность текстовых признаков с группой номинальных признаков.

Во-вторых, какие влиятельные признаки для подходов назначения ошибок и почему они влиятельны? Они используют метод обертки и широко используемую двунаправленную стратегию. Многократно обучая классификатор с различными группами признаков, он оценивает важность признаков в соответствии с метрикой. Они предполагают, что номинальные признаки могут способствовать сокращению области поиска классификатора и проверяют предположение в статистическом методе.

В-третьих, в какой степени выбранные влиятельные признаки могут улучшить задания по ошибкам? Они обучают модели с фиксированными классификаторами на изменяющихся группах признаков и проводят два популярных классификатора (дерево решений и SVM) на пяти группах признаков.

В эксперименте в качестве наборов данных использовались пять проектов разных размеров и типов. Результаты показывают, что улучшенная техника обработки естественного языка имеет ограниченное улучшение, а выбранные ключевые признаки достигают точности 11–25% при двух популярных классификаторах.

Дальнейшая работа может быть сосредоточена на внедрении исходных файлов для построения графа знаний между этими влиятельными функциями и описательными словами для лучшего внедрения номинальных функций.