Исследователи из Еврейского университета в Иерусалиме разработали методику, которая позволяет незрячим людям «видеть» окружающее их пространство с помощью звуков, в которые преобразуется визуальная информация сенсорным устройством замещения EyeMusic. Результаты этого исследования были опубликованы в июльском номере журнала «Restorative Neurology and Neuroscience».

Сенсорные устройства замещения (sensory substitution device, SSD) представляют собой устройства, в которых визуальная информация, недоступная незрячим и слабовидящим людям, преобразуется в тактильную или аудиоинформацию, чтобы с ее помощью помочь им «увидеть» окружающие их предметы и дать о них определенную информацию. В идеальном варианте SSD-устройства должны не только зондировать окружающее пространство, но и дать пользователю качественную информацию об окружающих его объектах, к примеру, позволить взять в руку чашку кофе или пожать руку собеседнику. Т.е. с помощью такого устройства пользователь может не только «видеть» различные объекты, но и четко и быстро контактировать с ними. Именно для этих целей и была разработана система EyeMusic.

EyeMusic представляет собой устройство, оснащенное видеокамерой, процессором и программным обеспечением, с помощью которых сканируется «картинка» перед пользователем, а затем эта информация преобразуется в звук. Изображение сканируется непрерывно, слева направо, начинается сканирование по команде пользователя с помощью голосовой команды. О появлении объекта перед пользователем свидетельствует сигнал, о ширине которого можно судить по продолжительности сигнала (об этом позволяет судить количество пикселей по горизонтали в изображении объекта). Яркость объекта кодируется громкостью звука.

А цвет? Оказывается, EyeMusic может различать и цвета. Для этого пять основных цветов отображаются звуками различных музыкальных инструментов: белый – вокал, синий – труба, красный – регги орган, зеленый – свирель, желтый – скрипка, черный – тишина.

Примеры звукового воспроизведения визуального образа различных объектов можно найти здесь.

На фото ниже проиллюстрирован принцип работы EyeMusic: пользователь воспринимает аудиоинформацию, отражающую визуальные образы перед ним и из нескольких яблок выбирает красное, информацию о котором EyeMusic зафиксировал с помощью видеокамеры, указал на его расположение, размеры и цвет.

Разработчик EyeMusic и руководитель проводимого исследования профессор Амир Амеди говорит, что ноты диапазоном в пять октав были подобраны профессиональными музыкантами и достаточно легко и непринужденно воспринимаются пользователями. Амеди также указывает на то, что обучение навыкам использования EyeMusic также не вызывает особых проблем: «Мы установили в своем исследовании, что приятные музыкальные гаммы достаточно точно передают визуальную информацию, а сама методика может использоваться после короткого периода обучения (в некоторых случаях, менее чем через полчаса) для отработки движений, которые очень похожи на движения под визуальным контролем».

Шелли Левик-Цедек, научный сотрудник медицинского факультета Еврейского университета Иерусалима, отмечает: «Участники исследования смогли использовать слуховую информацию для создания относительно точного пространственного представления. Уровень точности движений, достигнутый в нашем исследовании, показывает, что с помощью SSD вполне возможно выполнение повседневных задач, а также указывает на возможность использования этой методики в проведении реабилитационных мероприятий».

«Это исследование подтвердило гипотезу о том, что представление об окружающем пространстве в головном мозге формируется вне зависимости от метода, с помощью которого получена информация о нем», – говорит доктор Леви-Цедек, – «для обучения незрячего человека получению информации об окружающем пространстве без визуальной информации и получения им навыков для быстрых и четких движений, как оказалось, требуется достаточно небольшое время, таки образом, SSD может иметь большой потенциал для предоставления инвалидам по зрению подробной пространственной информации, что позволит им успешно взаимодействовать с внешней средой».

Использованы материалы medGadget, AlphaGalileo и официального веб-сайта Еврейского университета в Иерусалиме

Источник: http://www.dislife.ru/

http://www.dislife.ru/news/theme/20285/#more