Животные ориентируются, используя различную сенсорную информацию для управления своим движением. Миниатюрные устройства слежения теперь позволяют с высокой точностью документировать маршруты животных. Несмотря на это подробное описание движения животных, плохо изучено, как животные переводят сенсорную информацию в движение. Недавние достижения в области машинного обучения теперь позволяют решать этот вопрос с помощью беспрецедентных инструментов статистического обучения. Мы использовали эту способность для визуальной навигации у летучих мышей. Мы использовали машинное обучение и обучили сверточную нейронную сеть перемещаться по маршруту летучей мыши, используя визуальную информацию, которая была бы доступна настоящей летучей мыши, которую мы собрали с помощью дрона. Мы показываем, что простая сеть с прямой связью может научиться направлять агента к цели на основе сенсорного ввода и может обобщать свое обучение как во времени, так и в пространстве.
За более чем столетие исследований в области навигации мы теперь лучше понимаем, насколько точной должна быть навигация для поддержки сложных перемещений, таких как ежедневные перелеты и миграция. С одной стороны, мы много знаем о том, какие сенсорные модальности животные используют для навигации. Но, с другой стороны, плохо изучено, как животные используют эту сенсорную информацию для навигации, то есть как животные переводят сенсорную информацию в движение. Несколько предыдущих попыток пытались изучить этот вопрос теоретически, разрабатывая модели, объясняющие, как животное может использовать сенсорную информацию, доступную ему, для навигации по миру. Однако мы еще очень далеки от ответа на этот вопрос. В данном исследовании мы рассмотрели проблему с точки зрения визуальных навигаторов — египетских плодовых летучих мышей ( Rosettus aegyptiacus ), именуемых в дальнейшем «летучие мыши». Эти летучие мыши совершают ночные дальние поездки на расстояние до нескольких десятков километров от своего насеста, направляясь к определенным фруктовым деревьям по удивительно прямой траектории, вероятно, полагаясь на зрение. Важно отметить, что летучие мыши не могут видеть свою цель, то есть конкретное фруктовое дерево (или ощущать его с помощью других сенсорных систем), пока они не окажутся очень близко к нему, поэтому они должны каким-то образом получать и использовать другую визуальную информацию, которая доступна по пути в для того, чтобы перейти к дереву. Хотя теоретически эти летучие мыши могут использовать другие сенсорные модальности для навигации, такие как эхолокация, обоняние или магнитное восприятие, маловероятно, что они делали это во время этого типа навигационной задачи по следующим причинам: они перемещались на больших высотах над землей. (>100 м) обычно без эхолокационных сигналов , вероятно, потому, что земля (или другие объекты) не может быть обнаружена на этом расстоянии. Маловероятно, чтобы летучие мыши могли учуять конкретное дерево (одно из многих тысяч представителей одного и того же вида) с расстояния 20 км. Более того, ожидается, что опора на обонятельные градиенты (например, океан может обеспечить такой градиент) приведет к менее прямой навигации, чем та, которую мы наблюдали. Примечательно, что фруктовые летучие мыши могут использовать обоняние, чтобы найти конкретный фрукт на последних нескольких метрах своего полета, но это не то, что мы смоделировали в этом исследовании. Магнитное зондирование можно использовать в качестве компаса во время навигации, но, вероятно, не в качестве карты. В любом случае, цель этой работы состояла в том, чтобы протестировать визуальную навигацию, которая является известной стратегией, используемой этими летучими мышами.
Мы использовали подход машинного обучения, чтобы изучить, может ли и как животное использовать визуальную информацию, чтобы научиться перемещаться по маршруту к знакомой цели. Алгоритмы машинного обучения очень эффективны для статистического обучения, предоставляя новые возможности для изучения поведения животных. Более того, несколько исследований показали, что архитектура сверточных нейронных сетей чем-то напоминает визуальную обработку млекопитающих 21 , 22 , 23 . Сеть состоит из нескольких слоев сверточных фильтров, которые извлекают особенности из визуальной сцены, подобно зрительной коре млекопитающих. С другой стороны, сеть выполняет только вычисления с прямой связью, что делает ее менее мощной по сравнению с рекуррентным мозгом млекопитающих 24 ,25 , 26 , 27 . Мы называем единицы в сети нейронами и анализируем их кодирование пространства. Несколько предыдущих исследований использовали алгоритмы машинного обучения для изучения навигации животных, например, муравьев, медоносных пчел и кры , в основном фокусируясь на навигации на короткие расстояния порядка десятков метров (которые иногда может считаться дальней навигацией для животного, выполняющего задачу). В этом исследовании мы используем искусственные нейронные сети для изучения визуальной навигации в более крупном масштабе в десятки километров, используя реальную визуальную информацию, доступную фруктовой летучей мыши в дикой природе.
Для получения визуальной информации, доступной летучей мыши-навигатору, мы запускали дрон точно по траектории полета конкретной особи летучей мыши на высоте 100 м над землей, что характерно для этих летучих мышей («Методы»). Во время полета дрона мы записывали 360-градусную (панорамную) визуальную информацию, на которую летучая мышь могла полагаться для навигации. Затем мы ухудшили визуальную информацию, убедившись, что мы недооценили то, что было доступно для летучей мыши. Затем мы обучили очень простую сверточную нейронную сеть (CNN) для навигации по этому маршруту. Сеть получает визуальный ввод в определенном месте и направлении по маршруту и выдает азимут цели (который не виден на изображении), то есть насколько должна повернуться летучая мышь, чтобы направиться к своей цели- фруктовому дереву.
Мы показываем, что сеть может научиться перемещаться по типичному маршруту летучей мыши, даже несмотря на то, что визуальная информация резко меняется по пути, например, условия освещения и сложность ландшафта (например, переключение с сельской местности на городскую фоновую графику) и заметные доступные элементы. информация меняется с дистальных на проксимальные сигналы. Мы также показываем, что сеть может обобщаться как в пространстве, так и во времени, тем самым предполагая, как летучая мышь может справиться с блужданием на несколько километров в неизвестном месте, сбившись с пути, или с возвращением, чтобы использовать тот же путь после того, как он не использовался в течение многих месяцев. Мы также обсудим, какие визуальные функции могут использоваться навигационной летучей мышью, и проанализируем единицы обученной нейронной сети в сравнении с тем, что известно о пространственном кодировании в мозге млекопитающих.
Результаты
Navigation-net объясняет визуальную навигацию
Мы обучили сверточную нейронную сеть (CNN, далее навигационная сеть) воспроизводить навигацию летучих мышей на основе визуальной информации. Сеть получила в качестве входных данных одно изображение, сделанное в любом месте и в любом направлении по маршруту летучей мыши, и была обучена предоставлять угол дерева, ищущего пищу, в качестве выходных данных. Этот выходной угол представляет собой угловую ошибку между текущим взглядом летучей мыши (угол, под которым было снято изображение) и азимутом желаемой цели летучей мыши.). Обратите внимание, что для воздушного навигатора, который в основном может свободно менять свое направление, например летучей мыши, угол к цели является необходимой информацией для навигации, в то время как наземным навигаторам иногда требуется обходить препятствия. Мы позаботились о том, чтобы сеть основывала свое решение на визуальных данных, доступных летучей мыши. С этой целью: (1) сеть получила на входе одно изображение, охватывающее поле зрения 80° к выходному направлению (уже, чем поле зрения летучей мыши , и обратите внимание, что настоящие летучие мыши могут поворачивать голову и интегрировать информацию перед принятием решений по наведению); (2) разрешение изображения было уменьшено до 160 × 160 пикселей (меньше, чем у летучей мыши ), и (3) мы использовали только красный и синий каналы изображений в соответствии с фоторецепторами в сетчатке этих летучих мышей , но см. «Методы» для более подробной информации.
Сначала мы проверили производительность навигационной сети при обучении на данных по всей траектории (т. е. и обучающие, и тестовые изображения были взяты из одного и того же набора). Этот сценарий, который смешивает данные обучения и тестирования, может рассматриваться сообществом машинного обучения как переоснащение сети. Однако в нашем случае мы исследовали, может ли летучая мышь научиться перемещаться по определенной траектории на основе доступной визуальной информации, как это обычно делают фруктовые летучие мыши, летая к одной и той же цели по одному и тому же маршруту в течение десятков ночей. Таким образом, на данном этапе исследования мы не беспокоились о переоснащении сети. Ниже мы также сообщаем о тестировании способности сети обобщать свое обучение.
Производительность навигационной сети
Сеть смогла обучить задачу с высокой точностью — средняя ошибка по сектору ±45° относительно цели составила 22,2° ± 19,7° (среднее ± SD, n = 606). Это показывает, что одну сеть можно научить запоминать конкретную навигационную траекторию на основе соответствующих визуальных входных данных, даже если визуальные входные данные резко меняются по пути. под одинаковыми углами взгляда относительно цели. Сеть была наиболее точной при приеме входных изображений с малых углов взора, то есть при взгляде в направлении цели. Вероятно, это результат того, что наша тренировочная выборка была смещена, и больше изображений было сделано в направлении цели — мы вращали дрон во всех направлениях, но когда он поднимался или двигался на север/юг к точке захвата, он всегда примерно лицом к цели. Это, вероятно, также относится к настоящей летучей мыши, которая летит к определенной цели в течение многих ночей и большую часть времени смотрит на цель, поэтому, вероятно, изучает траекторию в соответствии с информацией в направлении цели, собирая менее точную информацию о других областях. углы. Кроме того, мы обнаружили, что ошибка сети не была симметричной относительно азимута цели и была немного выше для отрицательных углов (наклон к югу). Это может быть результатом наличия источников света в этом направлении ).
Мы показали, что сеть может запоминать конкретную траекторию, но есть много сценариев, в которых запоминание очень специфических сенсорных сигналов может быть вредным для навигации: (1) Животные иногда перемещаются по маршруту, по которому не ходили в течение длительного времени, во время которого сенсорные входные данные может измениться. Это особенно актуально для мигрирующих видов, которые ежегодно перемещаются по определенному маршруту, а также для многих собирателей, которые полагаются на сезонно меняющиеся ресурсы, такие как фруктовые деревья, которые созревают один раз в год. (2) Иногда животные также могут сбиться с маршрута и должны вернуться к нему, например, при дрейфе из-за бокового ветра или при намеренном блуждании с целью исследования. Таким образом, животные должны иметь некоторую способность приспосабливаться к изменению сенсорной информации и обобщать свою навигацию в свете изменения сенсорной информации, и проверил его способность находить цель на основе обучения изображениям, сделанным годом ранее. Таким образом, этот тест исследовал обобщение как в пространстве, так и во времени. Примечательно, что в течение этого года визуальный ввод сильно изменился, и в регионе было построено множество новых зданий. В каждой из протестированных локаций сеть смогла указать направление на цель с незначительной ошибкой менее 15 градусов при наименьшая часть (в среднем 79,4° ± 50,1°) поля зрения. Поскольку летучая мышь может поворачивать голову во время полета, этот результат говорит о том, что в любом из этих мест летучая мышь могла оценить направление на цель даже после того, как не посещала этот район в течение одного года (подробнее см. «Обсуждение»).
Обобщение навигации также имеет решающее значение при изучении нового маршрута в первый раз. Египетские фруктовые летучие мыши обычно активно исследуют территорию в поисках новых кормовых деревьев. Эти длительные исследовательские полеты характеризуются высокой извилистостью, а позже, когда животное возвращается к конкретному дереву, которое оно нашло предыдущей ночью, оно будет делать это по гораздо более прямой траектории. Таким образом, животное демонстрирует способность ориентироваться прямо по маршруту, которого оно никогда раньше не видело. Мы проверили способность navigating-net воспроизвести это поведение, обучив новую сеть с использованием того же подхода, описанного выше, но на этот раз исключив часть данных из обучения. В частности, при обучении новой сети мы исключили все визуальные данные, полученные на протяжении ~ 4 км между точками 3 и 6 (~ 23% всей траектории). Затем мы проверили производительность сети только на изображениях, сделанных между точками 4 и 5, тем самым протестировав сеть на изображениях, которые находились на расстоянии не менее 1 км от любого изображения, которое она видела ранее.
Сеть смогла выполнить задачу с высокой точностью даже при тестировании на изображениях, на которых она никогда не обучалась — средняя ошибка по сектору ±45° относительно цели составила 25,4° ± 19,3° ( n = 592 тестовых изображения ). Эта ошибка больше, чем у ранее обученной сети, но ее должно быть достаточно для навигации к цели, как мы также демонстрируем в следующем абзаце.
Летучая мышь-симулятор
До сих пор мы тестировали производительность навигационной сети с одной точки зрения. Чтобы проверить, достаточно ли этой производительности для многоступенчатой навигации в реальном мире, мы запрограммировали симулятор летучей мыши, основанный на навигационной сети. В этом моделировании летучая мышь была размещена в случайном месте в пределах первых 2,5 км траектории со случайным курсом, выбранным из равномерного распределения [-30 °, 30 °] относительно цели. На каждом этапе моделирование использовало визуальный ввод в соответствии с местоположением и направлением моделируемой летучей мыши для определения ее азимута относительно цели с использованием навигационной сети (см. «Методы»). Затем имитатор повернулся к этому предполагаемому азимуту, переместился на расстояние 350 м и еще раз оценил направление цели, используя обновленный визуальный ввод в новом местоположении. Имитация полета считалась успешной, если имитируемая летучая мышь начинала облетать цель по эллипсоиду. Мы тестировали обе сети, описанные выше, одну обучали на всех данных, а другую исключали данные между точками 3 и 6 (50 прогонов для каждой сети). Во всех 100 запусках моделируемой летучей мыши всегда удавалось добраться до цели. Интересно, что смоделированная летучая мышь, обученная с частичными данными, была гораздо менее точной, но это, по крайней мере, частично было связано с нашим очень простым алгоритмом управления. Улучшенный алгоритм управления, учитывающий производную от движения , обеспечит более плавную траекторию, но даже нашего текущего простого алгоритма было достаточно для навигации к цели, предполагая, что животные, которые полагаются на дистальные сенсорные входы, могут перемещаться по маршрутам, которых они никогда не знали.
Кроме того, чтобы выяснить, какая часть изображений наиболее важна для навигации, мы обучили сеть изображениям, в которых мы удалили одну треть изображений по горизонтали (дополнительный рис. 2 ). Как и ожидалось, сеть работала хуже всего, когда центральная полоса изображений была удалена. Эта часть изображений обычно содержала информацию о горизонте, в то время как две другие содержали информацию о проксимальных участках земли или удаленных участках неба. Показатели удаления верхней, средней и нижней полос соответственно составили: 26,5° ± 26,2°, 101,5° ± 43,03° и 16,8° ± 65,2° (для сектора 45° относительно цели), что свидетельствует о что удаление верха или низа почти не повлияло на производительность, а удаление центра резко ухудшило производительность.
Навигационная сеть облегчается нейронами направления цели
Наконец, чтобы получить представление о стратегии навигации, изученной навигационной сетью, мы проанализировали три последних (полностью связанных) слоя нейронной сети. С этой целью мы проанализировали азимутально-зависимые модели активации единиц в этих трех слоях. Многие нейроны в этих слоях характеризуются унимодальным, бимодальным или мультимодальным распределением активации, т.е. нейроны, которые кодируют определенный азимут относительно мишени, сходны с клетками-мишенями, которые были обнаружены в мозге млекопитающих. Нижние слои сети (слои 2–3) имели больше одномодальных и бимодальных нейронов за счет нейронов с мультимодальным и ненаправленным распределением. Дальнейшее изучение унимодального распределения нейронов показало, что пик активации большинства этих нейронов приходился на азимуты между 20° и 60° (северо-запад) относительно цели во всех трех слоях. Примечательно, что именно здесь ошибка сети была минимальной и, вероятно, является результатом нашего предвзятого подхода к сбору данных, который собирал больше информации в направлении цели. Распределение ширины (двустороннее 6 дБ) азимут-зависимой активации нейронов стало более широким (менее настроенным) в нижних слоях, с широкими (90°) и узкими (30°-60°) нейронами в первом и втором слоях. второго слоя и только широкие (90°) нейроны последнего слоя.
Навигационная сеть демонстрирует, как зрительный ввод, доступный животному, потенциально может использоваться для управления обучением навигации, а затем для направления фактического движения по изученному маршруту к знакомой цели (когда рассматривается только визуальный ввод). Сеть смогла изучить конкретный маршрут навигации летучих мышей на основе доступного визуального ввода. Это не тривиально, так как визуальные сенсорные входные данные резко меняются на протяжении маршрута, и поэтому сеть должна иногда выводить одни и те же углы для совершенно разных изображений (например, иногда горизонт был полностью закрыт ландшафтом, иногда близлежащая деревня дает очень яркий свет). 2с ). Сеть также продемонстрировала впечатляющие способности к обобщению как в пространстве, так и во времени, предполагая, как животные могут ориентироваться, несмотря на изменения сенсорной информации в окружающей среде, и как они могут перемещаться по части маршрута, никогда ранее не использовавшейся, полагаясь на удаленную знакомую сенсорную информацию. . Мы позаботились о том, чтобы недооценить зрительный ввод, который могла бы использовать настоящая летучая мышь. Наша сеть была обучена только одной траектории, в то время как настоящие летучие мыши, вероятно, должны помнить десятки (или более) траекторий. Примечательно, что искусственные нейронные сети известны своей способностью запоминать многочисленные примеры32 ., что также было в некоторой степени продемонстрировано в нашей сети — сеть изучила тысячи изображений и должна была научиться обеспечивать одинаковый вывод для совершенно разных входных изображений (см. Дополнительный рис. 1 ). Таким образом, вполне вероятно, что та же самая сеть могла бы запомнить гораздо больше траекторий, но мы не проверяли это из-за сложности получения данных. Обратите внимание, что обучение навигации по нескольким маршрутам в одной и той же области (например, на территории обитания животного) улучшит способность животного (и сети) обобщать и двигаться по новым путям.
Хотя настоящие летучие мыши могут также использовать альтернативную невизуальную сенсорную информацию (например, обоняние) для навигации, здесь мы сосредоточились на визуальной навигации, которая, вероятно, доминирует для навигации у этого вида. Более того, настоящая летучая мышь может примерно запомнить несколько маршрутов, а затем сезонно настраивать свою навигационную память, когда возвращается, чтобы использовать путь, который некоторое время не использовался.
На дополнительном рисунке 3 мы показываем пример реальной летучей мыши, движущейся к цели, которую не посещали какое-то время, демонстрируя, как навигация улучшается в течение последовательных ночей. Интересно, что это улучшение напоминает способность нашего симулятора летучей мыши двигаться по не пройденному ранее маршруту. То есть, если бы мы использовали данные, полученные симулятором во время его первых непрямых перемещений по новому маршруту, для лучшего обучения сети, он, вероятно, улучшил бы свою навигацию в течение последовательных ночей и ориентировался бы более точно на следующие ночи, как настоящая летучая мышь. Такое поведение предполагает, как может работать изучение связи между направлением удаленной цели и отдаленными ориентирами. Мы предполагаем, что это может происходить поэтапно, путем изучения промежуточных маршрутов к более близким целям. Действительно, поведенческие данные из наших предыдущих исследований показывают, что молодые летучие мыши постепенно увеличивают площадь своего исследования и используют короткие пути, чтобы летать между целевыми фруктовыми деревьями.
В этом исследовании мы обучили сеть только выводить направление на цель, но вполне вероятно, что она могла бы также научиться выводить расстояние до цели. Более того, наш летучий симулятор подсказывает, как можно осуществлять навигацию даже без точной оценки расстояния — симулятор использовал только азимутальный выход сети и сумел достичь цели.
Наш анализ показывает, что центр изображения, который содержит большую часть информации о горизонте, наиболее полезен для навигации. Это, вероятно, верно для конкретного региона, когда летучие мыши летят на северо-запад, потому что горизонт в этом направлении содержит богатую визуальную информацию, предоставляемую многими городами, расположенными на побережье. Однако это не означает, что в других ситуациях летучие мыши не могут использовать локальную наземную информацию (в нижней части изображения) или небесные ориентиры (в верхней части изображения). Вполне вероятно, что наши чрезмерно деградированные изображения убрали небесную информацию, которая была бы доступна настоящей летучей мыши. Более того, реальная летучая мышь может переключаться между этими альтернативами в зависимости от того, что доступно, например, в туманную ночь она может использовать локальные визуальные сигналы на земле, такие как близлежащие огни или местный ландшафт.
Способность сети перемещаться по маршруту, никогда ранее не используемому, предполагает, что для навигации она полагалась на глобальную визуальную информацию (например, огни на горизонте). Опора на такие дистальные сигналы, вероятно, более устойчива к изменениям информации во времени и пространстве, потому что входные данные более размыты, а изменения менее драматичны.
При проверке работоспособности сети год спустя в удаленных ранее «не посещаемых» точках (в нескольких километрах от маршрута) удалось определить направление цели, но только в части поля зрения. С точки зрения летучей мыши этого должно быть достаточно, так как она может легко развернуться (на 360 градусов), пока не найдет нужное направление. Интересно, что поле зрения, позволявшее с высокой точностью обнаружить цель, всегда находилось на юго-западе относительно летучей мыши. Это говорит о том, что сеть использовала (по крайней мере, частично) информацию с этого направления. Одно из разумных объяснений состоит в том, что сеть полагалась на наиболее заметную знакомую визуальную информацию, доступную в этих местах, на которой она никогда не обучалась. Одним из наиболее заметных знакомых визуальных образов в этих ранее не посещаемых местах были огни «Кирьят-Гата» — крупнейшего города в этом районе, который находился на юго-западе по отношению к этим местам. В пользу этого говорит и тот факт, что в точках к западу от Кирьят-Гата, сеть больше не полагается на него. Но ясно, что сеть более надежна, чем полагаться на одну визуальную особенность, о чем свидетельствует ее способность перемещаться из точек, где Кирьят-Гат не виден. Более того, когда снимки делались из Кирьят-Гата, сеть не могла определить направление на цель (ошибка всегда была больше 25°), вероятно, потому, что визуальная информация поступала очень плохо . отличается от всего, что он видел раньше. Смещенная ошибка моделируемой летучей мыши, вероятно, также может быть объяснено зависимостью сети от информации в юго-западном направлении. Обратите внимание, что сеть решила полагаться на Кирьят-Гат, т. е. мы специально не обучали ее этому, показывая, как можно использовать наш подход для извлечения информативных признаков для навигации. Более того, обратите внимание, что сеть шла не в сторону Кирьят-Гата, то есть даже при использовании информации с юго-запада указывала навигатору правильные направления цели (которой не было на юго-западе).
Обратите внимание, что сеть использует Кирьят-Гат в качестве основного ориентира в основном при навигации в незнакомых местах. Однако при навигации по знакомому маршруту ошибка была фактически несколько больше при движении на юг к цели (направление на Кирьят-Гат), чем при движении на север к цели. Мы предполагаем, что это связано с избытком света в этом направлении, что затрудняет анализ зрительной информации. Настройка нейронов (которые были в основном активны на север к цели) также подтверждает это. Если эта гипотеза верна, это интересный случай, когда заметные визуальные ориентиры могут быть полезны для навигации из незнакомых мест и в то же время вредны для точной навигации в знакомых местах.
Нейронные сети — это мощные алгоритмы статистического обучения, которые следует использовать с осторожностью при сравнении их результатов с поведением животных. Нейронные сети иногда могут совершать ошибки, которые человеку кажутся нелепыми. Более того, архитектура сети, которую мы использовали, явно сильно отличается от архитектуры мозга млекопитающих. Например, это сеть прямой связи без обратной связи. Несмотря на эти различия, обучение нейронных сетей имеет несколько важных характеристик, которые позволяют нам делать выводы о способностях животных: (1) это алгоритмы статистического обучения, и в этом смысле они, вероятно, больше похожи на мозг, чем на любую аналитическую модель. (2) Сеть, которую мы использовали, имеет примерно 10 миллионов соединений, что намного меньше, чем области мозга млекопитающих, участвующие в обучении навигации. Таким образом, нашу нейронную сеть можно рассматривать как недооцененную модель того, что может делать мозг, как с точки зрения его способностей к обучению, так и с точки зрения его способностей к обобщению. Примечательно, что если эта простая версия мозга может научиться ориентироваться и обобщать, неудивительно, что мозг летучей мыши тоже может это делать. (3) Наш подход показывает, как одну сеть можно использовать как для анализа визуального ввода, так и для управления навигацией. Действительно, несколько недавних исследований предполагают, что информация о движении интегрирована в зрительную кору приматов. Анализ блоков в сети выявил искусственные нейроны, настроенные на направление цели, напоминающие нейроны-цели, обнаруженные в мозге млекопитающих. Обратите внимание, что узкая ширина активации, появляющаяся в первом и втором слоях, хорошо соответствует общей ширине настройки целевых нейронов и клеток направления головы, которая колеблется между 40° и 30°-60° соответственно, однако у летучих мышей, которые использовать ячейки направления головы для 3D-навигации, ширина ячеек направления головы больше ~150°. Обратите внимание, что, хотя мы ожидаем, что нейроны в сети будут демонстрировать некоторую направленность, их настройка и распределение предпочтительных направлений могут быть совершенно другими. Например, все нейроны могли быть четко настроены на один определенный угол.
Более того, подобный феномен, когда большее количество нейронов настраивается в направлении, важном для животного, был ранее продемонстрирован в слуховой системе сипух, где большее количество нейронов настраивается на центр их взгляда, что служит байесовским априором для локализации звука. Таким образом, изучение свойств нейронов искусственных нейронных сетей может привести к предсказаниям о биологических системах.
Таким образом, наши результаты способствуют пониманию биологической навигации и особенно важны для других видов, которые полагаются на зрение для навигации на аналогичные расстояния по знакомым маршрутам, таких как голуби. Насколько нам известно, это первое исследование, использующее статистическую мощность новых алгоритмов машинного обучения для изучения навигации млекопитающих в их естественной среде. В частности, мы фокусируемся на фундаментальной задаче преобразования визуального ввода в движение, используя ограниченную биологически правдоподобную визуальную информацию и ограниченный алгоритм обработки (только прямую связь), предполагая, что биологический мозг может способствовать такому поведению. Мы показываем, что одна нейронная сеть может научиться перемещаться, как летучая мышь, даже по длинной траектории, где зрительный ввод постоянно меняется, и мы предполагаем, как шумные нейроны направления цели (подобные тем, которые находятся в мозге млекопитающих) могут облегчить такую навигацию. Кроме того, мы даем представление о том, как траектория, которой раньше не было, может быть повторно использована для навигации,
Модели машинного обучения в целом и искусственные нейронные сети в частности позволяют изучать поведение способами, которые ранее были невозможны. Сложное поведение, которое мы смоделировали в этом исследовании, вероятно, нельзя было бы смоделировать с помощью какой-либо другой модели (не машинного обучения) (конечно, никакая аналитическая модель не сработала бы). Таким образом, машинное обучение и, в частности, искусственные нейронные сети позволяют нам решать такие вопросы, как, например, какое поведение может быть выполнено с какой сенсорной информацией (например, может ли зрение объяснить наблюдаемую нами навигацию?) или каков минимальный объем информации и вычислений, необходимых для выполнения. поведение? Алгоритмы машинного обучения также позволяют получить представление об основных извлеченных функциях, которые обеспечивают поведение. Конечно, чтобы подтвердить это понимание,
Будущие исследования также могут использовать сетевые архитектуры, которые больше напоминают мозг млекопитающих, их можно обобщить на другие сенсорные модальности и организмы, и их можно разработать для изучения сложных форм навигации, таких как навигация на основе карт. Более того, искусственные нейронные сети также можно использовать для изучения дополнительных видов поведения, как это уже было сделано в нескольких исследованиях. Таким образом, мы ожидаем быстрого роста использования возможностей машинного обучения для изучения поведения и указываем на растущую потребность в разработке способов тщательной интерпретации их результатов.
Методы
Исследование проводилось в соответствии с разрешением Институционального комитета по уходу и использованию животных (IACUC) Тель-Авивского университета (номер: L-11-054).
Получение данных
Мы использовали миниатюрный регистратор данных GPS (Lucid, Израиль) для получения траектории полета одного взрослого самца фруктовой летучей мыши ( Rousettus aegyptiacus ), который вышел из своей пещеры в Национальном парке Бейт-Говрин, Израиль и пролетел расстояние 17,2 км. к дереву, расположенному недалеко от «Нир Баним», Израиль (31 ° 40,083 ′ северной широты, 34 ° 44,485 ′ восточной долготы). Летучая мышь была поймана при выходе из пещеры с помощью паутинной сети, а устройство GPS было прикреплено к ее спине с помощью хирургического клея. Устройство телеметрии (Biotrack, Дорсет, Великобритания) было прикреплено к GPS, чтобы гарантировать его восстановление после падения с летучей мыши.
Для получения визуальной информации, которая была доступна летучей мыши при этом полете, мы вели дрон на высоте 100 м над землей, аналогичной средней высоте летучей мыши по этой траектории (119 ± 74 м в среднем ± SD). Мы использовали дроны DJI Mavic Pro и DJI Phantom 4 (DJI Science and Technology, Гуандун, Китай). Из-за ограничений на полеты в этом районе мы управляли дроном в семи точках на протяжении последних 11 км маршрута летучей мыши (см. зеленые точки на рис. 1 ). В каждом месте мы летали дроном по трассе ~ 1 км, непрерывно записывая видео. Дрон двигался зигзагом вокруг траектории полета летучей мыши, чтобы увеличить визуальную изменчивость. Через каждые 250 м мы останавливали и поворачивали дрон на 360°, чтобы получить изображения с большего количества углов.
Мы использовали встроенные камеры дронов для получения видеоматериалов (камеры с разрешением 12,4 мегапикселя). Поле зрения камеры составляет 80 градусов. Видео записывалось с частотой 30 кадров в секунду, но для обучения классификатора было уменьшено до 10 кадров в секунду. В общей сложности это предоставило набор данных из 33 тыс. изображений. Примечательно, что, поскольку изображение было выполнено ночью, изображения в основном бесцветные, включая оттенки белого и желтого. Исходное разрешение изображения было 1280 × 720 или 3840 × 2160, но видео было субдискретизировано до 160 × 160 с использованием бикубической интерполяции, чтобы убедиться, что мы не используем больше информации, чем доступно летучей мыши. Известно, что египетские фруктовые летучие мыши обладают красными и синими фоторецепторами. Даже если летучие мыши полагаются только на стержневое зрение для таких навигационных задач, наблюдая за нашими изображениями, которые используют только красный и синий каналы, можно предположить, что они почти монохроматичны, как и в случае палочкового восприятия.
Обучение и тестирование классификатора
Базовая сеть была обучена и протестирована на всех данных. Для второго подхода мы удалили все данные между точками 3 и 6 из обучающей выборки и протестировали алгоритм только на изображениях, полученных между точками 4 и 5. Метка каждого изображения — угол обзора камеры относительно целевого дерева оценивался на основе файлов журналов полетов дрона, которые обновляются со скоростью 10 раз в секунду.
Сеть обучалась с использованием платформы TensorFlow в Python. Результатом навигационной сети был угол между [−180, 180], представляющий собой разницу между текущим предполагаемым курсом и желаемым курсом к цели. Для выполнения задачи мы использовали сверточную нейронную сеть с пользовательской архитектурой VGG 19, в которой мы заменили классификатор Softmax классификатором регрессии, потому что наш результат представлял собой угол между [−180 – 180] . Мы использовали подход «переносного обучения», что означает, что первые сверточные слои уже были предварительно обучены. Мы использовали функцию активации Relu и штраф за регуляризацию L2 со скоростью обучения 0,01 и размером партии 32 для обучения.
Оценка распределения активации искусственных нейронов
Чтобы оценить направленную реакцию устройства, мы снабдили нашу сеть изображениями из всех мест и измерили средний ответ каждого нейрона со всех углов 360 ° относительно цели (усредненный по всем местам). Чтобы идентифицировать направленные единицы, мы группировали и сглаживали активацию с помощью бинов по 30 градусов и использовали тест Рэлея для неравномерности круговых данных. Затем мы использовали функцию обнаружения пиков (Matlab) для классификации направленных нейронов на унимодальные, бимодальные и мультимодальные нейроны в соответствии с количеством пиков, которые были обнаружены с использованием следующих критериев: минимальное расстояние между пиками 20 °, минимальная высота пика 0,05 и минимальная выраженность пика 0,065 (пиковые значения были нормализованы до 0–1). Ширину нейрона измеряли на половине высоты пика (с обеих его сторон).
Чтобы построить средний паттерн активации, мы исследовали распределение азимутально-зависимых паттернов активации, используя ячейку 20 градусов, а затем использовали только нейроны в ячейке с наибольшей вероятностью, чтобы показать среднее значение азимутально-зависимой зависимости. паттерны активации.
Летучая мышь-симулятор
Симулятор запускался, как описано в основном тексте. Однако, поскольку база данных не содержала данных по всем возможным направлениям во всех точках пути, когда точное изображение было недоступно, мы брали ближайшую точку как по местоположению, так и по азимуту. Поскольку смоделированная летучая мышь никогда не уходила далеко от исходной траектории, это было хорошим приближением.
Статистика и воспроизводимость
Чтобы получить визуальную информацию, мы летали дроном по 1-километровому маршруту в семи точках на последних 11 км маршрута летучей мыши. Через каждые 250 м мы останавливали и поворачивали дрон на 360°, чтобы получить изображения с большего количества углов. Через год мы собрали дополнительные данные из 9 точек, расположенных дальше от траектории полета летучей мыши (2–5 км), для проверки обобщения как в пространстве, так и во времени. Нейросетевой анализ проводился с использованием платформы TensorFlow на языке Python. Все остальные статистические анализы проводились с использованием Matlab 2019b. Подробная информация обо всех статистических тестах указана в тексте.
