Приложение NaviSense для помощи людям с нарушениями зрения

В последние годы технологии для помощи людям с нарушениями зрения достигли значительных успехов, однако есть еще много возможностей для улучшения. Команда ученых из Университета штата Пенсильвания разработала приложение NaviSense, основанное на реальных потребностях пользователей и возможностях искусственного интеллекта.

Это приложение в реальном времени распознает предметы и направляет пользователя с помощью голосовых и вибросигналов. В ходе тестирования участники отметили, что NaviSense работает более точно и естественно по сравнению с существующими решениями. Разработка была представлена на конференции SIGACCESS ASSETS`25 в Денвере и получила приз зрительских симпатий.

Одной из ключевых особенностей NaviSense является возможность подключения к внешним серверам с крупными языковыми и визуально-языковыми моделями. Это позволяет описывать окружающую среду без использования заранее загруженных библиотек, что часто ограничивало другие сервисы. Приложение также отслеживает движение руки и указывает, где находится нужный объект относительно телефона, что оказалось особенно полезным.

В испытаниях с 12 добровольцами NaviSense продемонстрировал значительное сокращение времени поиска объектов и улучшение точности их определения по сравнению с двумя коммерческими аналогами. Участники оценили более удобный и интуитивно понятный интерфейс.