Исследователи EPFL разработали подход машинного обучения для сжатия данных изображений с большей точностью, чем методы вычислений без обучения, с применением для имплантатов сетчатки и других сенсорных протезов.
Основной проблемой разработки более совершенных нейронных протезов является сенсорное кодирование: преобразование информации, полученной из окружающей среды датчиками, в нейронные сигналы, которые могут быть интерпретированы нервной системой. Но поскольку количество электродов в протезе ограничено, воздействие окружающей среды необходимо каким-то образом уменьшить, сохраняя при этом качество данных, передаваемых в мозг.
Деметри Псалтис (Лаборатория оптики) и Кристоф Мозер (Лаборатория устройств прикладной фотоники) сотрудничали с Диего Гецци из Офтальмической больницы Жюля-Гонена — Fondation Asile des Aveugles (ранее заведующий кафедрой нейроинженерии Medtronic в EPFL) для применения машинного обучения к проблеме сжатия. данные изображения с несколькими измерениями, такими как цвет, контраст и т. д. В их случае целью сжатия было понижение разрешения или уменьшение количества пикселей изображения, передаваемого через протез сетчатки.
«Понижение дискретизации для имплантатов сетчатки в настоящее время осуществляется путем усреднения пикселей, что, по сути, и делает графическое программное обеспечение, когда вы хотите уменьшить размер файла. Но, в конце концов, это математический процесс, здесь не требуется никакого обучения», — Гецци объясняет.
«Мы обнаружили, что если мы применим подход, основанный на обучении, мы получим улучшенные результаты с точки зрения оптимизированного сенсорного кодирования. Но еще более удивительным было то, что когда мы использовали неограниченную нейронную сеть, она научилась самостоятельно имитировать аспекты обработки сетчатки».
В частности, подход исследователей к машинному обучению, называемый структурой актер-модель, особенно хорош в поиске «золотой точки» для контраста изображения. Гецци использует Photoshop в качестве примера. «Если вы переместите ползунок контрастности слишком далеко в одном или другом направлении, изображение станет труднее увидеть. Наша сеть разработала фильтры, чтобы воспроизводить некоторые характеристики обработки сетчатки».
Результаты недавно были опубликованы в журнале Nature Communications.
Валидация как in silico, так и ex-vivo
В рамках модели актера две нейронные сети работают взаимодополняющим образом. Модельная часть, или прямая модель, действует как цифровой двойник сетчатки : сначала ее обучают принимать изображение с высоким разрешением и выводить двоичный нейронный код, максимально похожий на нейронный код, генерируемый биологической сетчаткой. Затем сеть актеров обучается понижать дискретизацию изображения с высоким разрешением, которая может извлечь нейронный код из прямой модели, который максимально близок к коду, создаваемому биологической сетчаткой в ответ на исходное изображение.
Используя эту структуру, исследователи протестировали изображения с пониженной дискретизацией как на цифровом двойнике сетчатки, так и на сетчатке трупа мыши, которая была удалена (эксплантирована) и помещена в культуральную среду. Оба эксперимента показали, что подход с использованием актерской модели создает изображения, вызывающие реакцию нейронов, более похожую на исходную реакцию изображения, чем изображение, созданное с помощью подхода к вычислениям без обучения, такого как усреднение пикселей.
Несмотря на методологические и этические проблемы, связанные с использованием эксплантированной сетчатки мыши, Гецци говорит, что именно проверка их модели ex-vivo делает их исследование настоящей инновацией в этой области.
«Мы не можем доверять только цифровой или встроенной модели. Именно поэтому мы провели эти эксперименты — чтобы проверить наш подход».
Другие сенсорные горизонты
Поскольку у команды уже есть опыт работы над протезами сетчатки, это было их первое использование структуры актерской модели для сенсорного кодирования. Но Гецци видит потенциал для расширения применения этой системы как внутри, так и за пределами сферы восстановления зрения. Он добавляет, что будет важно определить, насколько модель, проверенная на сетчатке мышей, применима к людям.
«Очевидный следующий шаг — увидеть, как мы можем сжать изображение в более широком смысле, помимо уменьшения пикселей, чтобы платформа могла одновременно работать с несколькими визуальными измерениями. Другая возможность — перенести эту модель сетчатки на выходные данные из других областей Потенциально его даже можно связать с другими устройствами, такими как слуховые протезы или протезы конечностей», — говорит Гецци.
