Глубокое обучение — это форма искусственного интеллекта, преобразующая общество путем обучения компьютеров обрабатывать информацию с помощью искусственных нейронных сетей, имитирующих человеческий мозг. Сейчас он используется в распознавании лиц, беспилотных автомобилях и даже в таких сложных играх, как го. В целом успех глубокого обучения зависел от использования больших наборов данных помеченных изображений в учебных целях.

Потенциальная золотая жила помеченных изображений находится в научной литературе : каждый год публикуется более миллиона статей. В текст большинства из них вплетено множество фигур. На сегодняшний день эти цифры не поддаются моделям глубокого обучения . Частично это связано с их сложной планировкой. Каждый рисунок обычно содержит несколько встроенных изображений, графиков и иллюстраций. Также отсутствовали адекватные средства для поиска в литературе изображений, соответствующих конкретному содержанию.

Решая эту проблему, исследователи из Аргоннской национальной лаборатории Министерства энергетики США (DOE) и Северо-Западного университета создали EXSCLAIM! программный инструмент. Название означает извлечение, разделение и аннотацию изображений на естественном языке на основе подписей.

Результаты опубликованы в журнале Patterns.

«Изображения, полученные с помощью электронных микроскопов , с точностью до миллиардных долей метра, являются одними из наиболее важных видов фигур в литературе по материаловедению», — сказала Мария Чан, ученый из Центра наноразмерных материалов Аргонна, пользовательского центра Министерства энергетики США. «Эти изображения необходимы для понимания и разработки новых материалов во многих различных областях. Наша цель с EXSCLAIM! — раскрыть неиспользованный потенциал этих данных изображений».

Что ставит EXSCLAIM! Отдельно стоит отметить его уникальную направленность на подход «запрос к набору данных», аналогичный тому, как подсказка используется в генеративных инструментах искусственного интеллекта, таких как ChatGPT и DALL-E. Таким образом, он способен извлекать отдельные изображения с очень конкретным содержанием из рисунков, поскольку он одновременно классифицирует содержимое изображения и распознает степень увеличения. Затем он может создавать описательные метки для каждого изображения. Ожидается, что этот инновационный программный инструмент станет ценным активом для ученых, исследующих новые материалы на наноуровне.

«Хотя существующие методы часто сталкиваются с проблемой составной компоновки, EXSCLAIM! использует новый подход для решения этой проблемы», — сказал ведущий автор Эрик Швенкер, бывший аспирант из Аргонна. «Наше программное обеспечение эффективно определяет резкие границы изображений и превосходно фиксирует изображения неправильной формы».

ВОСКЛАВАЙТЕ! уже продемонстрировал свою эффективность, создав самомаркированный набор данных электронной микроскопии, содержащий более 280 000 изображений наноструктур. Первоначально разработанный на основе изображений, полученных с помощью микроскопии материалов, EXSCLAIM! адаптируется к любой научной области, в которой создаются большие объемы статей с изображениями. Таким образом, это программное обеспечение обещает произвести революцию в использовании опубликованных научных изображений в различных дисциплинах.

«Теперь у исследователей есть мощный инструмент анализа изображений, который поможет им лучше понять сложную визуальную информацию», — сказал Чан.