Небольшая группа исследователей ИИ в Adobe Inc., работающая с коллегой из Университета Оберна и еще одним из Georgia Tech, разработала малую языковую модель (SLM), которую, по их словам, можно запустить локально на смартфоне без доступа к облаку. Группа написала статью, описывающую их новое приложение, которое они называют SlimLM, и разместила ее на сервере препринтов arXiv.
По мере того, как технология LLM продолжает развиваться, исследователи по всему миру продолжают искать новые способы ее улучшения. В этой новой работе исследовательская группа нашла способ отсечь шнур для определенного типа приложения ИИ — локальной обработки документов.
По мере того, как такие LLM, как ChatGPT, становятся все более популярными, пользователи все больше беспокоятся о конфиденциальности . И это касается не только отдельных лиц — крупные и мелкие компании используют приложения ИИ, которые помогают в различных бизнес-процессах, некоторые из которых требуют высокой степени конфиденциальности.
Причина, по которой LLM сейчас не являются частными, заключается в том, что часть их работы и большая часть их хранилища находятся на облачных устройствах, которые могут быть взломаны. Очевидное решение, как отмечают люди в этой области, — это отрезать кабель и запускать небольшие языковые модели (SLM) локально, без необходимости в облаке, чтобы можно было решить проблемы конфиденциальности.
Некоторые из крупнейших игроков в этой области работали в этом направлении — Google, Apple и Meta (Запрещена в РФ, террористическая организация) разработали приложения, которые можно запускать без доступа к облаку. Но ни одно из них пока не используется в реальном мире. Вот чем отличается SlimLM, по крайней мере, по словам команды. Они планируют сделать приложение доступным для пользователей «скоро».
Исследователи признают, что причина, по которой их продукт может использоваться локально, заключается в его специфичности — это не чат-бот или инструмент общего назначения. Вместо этого его можно использовать для определенных задач с документами, таких как создание резюме или ответы на тематические вопросы. Это означает, что приложение было обучено только обработке документов, что сокращает количество параметров — самая маленькая версия в настоящее время работает всего с 125 миллионами. Это также означает, что ему нужно сделать гораздо меньше работы на смартфоне.
Исследователи предполагают, что их приложение также представляет собой шаг к более локализованным приложениям ИИ и гораздо более высокой степени конфиденциальности для всех типов приложений.
