Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,074

SYSTEM OF NAVIGATION AND OVERCOMING OBSTACLES FOR VISUALLY IMPAIRED AND BLIND PEOPLE

Klyuchikov A.V. 1 Bolshakov A.A. 2 Grepechuk Yu.N. 1 Lobanov V.V. 1
1 Yuri Gagarin State Technical University of Saratov
2 St. Petersburg State Technological Institute (Technical University)
Разработан прототип комплекса для навигации и преодоления препятствий для слабовидящих и незрячих людей. Созданы электрические принципиальные схемы, печатные платы, программное обеспечение для макетного образца аппаратно-программного комплекса. Устройство позволяет определить кратчайший маршрут до конечного пункта следования, минимальное расстояние до ближайшего объекта, распознать близлежащие объекты и классифицировать их как препятствие. Кроме этого, оно обеспечивает формирование требуемой информации пользователю с использованием голосовых команд и сообщений через гарнитуру для успешного передвижения по маршруту с препятствиями людям с ограниченными возможностями по зрению. Проведены тестовые испытания комплекса, в результате которых выбран контроллер, изготовлены корпуса для отдельных модулей системы, а также выбраны широкоугольные линзы для увеличения угла обзора комплекса.
The prototype of a complex is developed for navigation and overcoming hindrances to visually impaired and blind people. Electric schematic diagrams, printed circuit boards, the software for a model sample of the hardware and software are created. The device allows to define the shortest route to a terminal point of following, the minimum distance to the next object, to recognize neighboring objects and to classify them as a hindrance. Besides, it provides formation to the user required information with use of voice commands and messages through a typeface for successful movement along a route with hindrances to physically disabled people on sight. Tests of a complex as a result of which the controller is selected are carried out, the casing for separate system modules is manufactured and also wide angle lenses for increase in viewing angle of a complex are defined.
technical vision
navigation
pattern recognition
information processing system
visually impaired

На планете имеется большое количество людей, имеющих проблемы со зрением. По оценке ООН, в процентном соотношении количество инвалидов по зрению по отношению к населению Земли составляет: полностью слепые – 0,55 % (39 млн) населения, инвалиды по зрению – 3,5 % (246 млн) населения [1].

Слепые и слабовидящие 20–30 лет назад использовали трости, собак-поводырей и простейшие электронные приборы с голосовой функцией (часы, стационарные телефоны). В наше время современные устройства, методики и технологии ориентированы на организацию всесторонней социальной адаптации незрячих людей. Ярким примером программного обеспечения для помощи незрячим служит Google Goggles (разработка одноименной фирмы Google), которая способна считывать текст на английском, французском, итальянском, немецком, испанском, португальском, русском и турецком языках и переводить его на другие [2]. Другим примером является разработка выпускника МИСиС Романа Соколова под названием Электросонар [3]. Прибор способен определить расстояние до препятствия по принципу эхолокации и выдать информацию пользователю в виде вибрационных сигналов.

Современные технологии активно используются для улучшения качества жизни людей-инвалидов. Основные результаты предварительного патентного исследования в этой области приведены в табл. 1, 2 [4–6].

Таблица 1

Характеристика аналогов устройств навигации и преодоления препятствий для слабовидящих и незрячих людей (Электросонар и Система онлайн-навигации)

Показатель

Электросонар

Система онлайн-навигации

Угол охвата (градусы)

60

80

Связь с пользователем

Вибрация

Голосовое сообщение

Способы обнаружения препятствия

Датчик расстояния

Постоянная онлайн-трансляция

Навигация до конечной точки следования

Отсутствует

Постоянная онлайн-трансляция

Функция HadsFree

+

вынужденная мера держать телефон перед собой постоянно

Энергозатраты

минимальные

Повышенные

Таблица 2

Характеристика аналогов устройств навигации и преодоления препятствий для слабовидящих и незрячих людей (Oriense и GiveVision)

Показатель

Oriense

GiveVision

Способы обнаружения препятствия

VR-очки

VR-очки + пополнение

базы данных

Ограничение по памяти

Внутреннее хранение памяти

Внутреннее хранение

памяти

Функция HadsFree

Отсутствует

(Очки + пульт управления)

+

Навигация до конечной точки следования

База данных без Интернет-подключения

Отсутствует

Угол охвата (градусы)

90

90

Анализ патентного исследования аналогов показал возможность создания более эффективного устройства в виде устройства технического зрения («электронного поводыря»), который интегрирует имеющиеся технологии, такие как навигация по улицам, определение расстояния до объекта, распознавание с использованием общего интерфейса, более удобного для людей, имеющих ограничения по зрению [7].

Постановка задачи

Требуется разработать удобное устройство для обеспечения различной информацией и облегчения ориентации слабовидящих и незрячих людей. Для апробации основных научно-технических решений предлагается вначале создать прототип подобного устройства. Анализ требований, предъявляемых будущими пользователями (табл. 1 и 2), позволил определить основные технические характеристики разрабатываемого прототипа: первичное определение расстояния в диапазоне от 0,02 м до 6 м с радиусом обзора 100~120 °; погрешность навигации по улицам города: 5–15 м; время отклика сообщения распознавания предметов: 10–20 с, возможная погрешность в зонах отсутствия 3G сигнала: 10–20 с. Для достижения поставленной цели необходимо разработать функциональную схему устройства, а также определить содержание аппаратного и программного обеспечения, спроектировать требуемые корпусы и выбрать необходимые линзы. Разрабатываемое устройство в отличие от аналогов должно обладать следующим комплексом характеристик: угол обзора: более 90 °, а именно 100–120 ° (до 180 ° с учетом широкоугольной линзы); связь с пользователем: голосовые сообщения и команды с использованием гарнитуры, что является более предпочтительным по сравнению с вибрационными сигналами; способы обнаружения препятствия: комплексное использование камеры и двух датчиков расстояния, что повышает вероятность обнаружения препятствий; навигация до конечной точки маршрута: регулярно онлайн-обновляемое программное обеспечение на основе GoggleMaps; использование функции HadsFree, что позволяет пользователю передвигаться по улицам, освобождая руки от различных гаджетов или надевания на голову специальных очков (модули устройства встроены в одежду и надежно спрятаны от внешних воздействий); снижение энергозатрат из-за отсутствия необходимости постоянной онлайн-трансляции, использования внешнего источника питания для аппаратного блока устройства и внешней онлайн-базы данных образов для распознавания, что позволяет не применять внутреннюю память устройства и уменьшить ее размер для хранения программного обеспечения и данных.

Структурная схема устройства

На основе анализа функциональных требований к устройству предлагается следующая структурная схема его функционирования (рис. 1). Устройство содержит следующие основные блоки: аппаратный, программный, а также корпус с линзой. Аппаратный блок включает следующие модули: микропроцессорный; передачи данных Bluetooth; измерения расстояния; преобразования напряжения. Программное обеспечение (ПО) реализовано прошивкой контроллера системы первичного съема и отправки информации и содержит следующие модули: навигации по улицам; распознавания препятствий. Также необходим корпус для каждого модуля с учетом обеспечения удобства пользователю при эксплуатации, необходимой эргономичности и устойчивости комплекса.

klyc1.tif

Рис. 1. Структурно-функциональная схема разрабатываемого устройства

Программный блок включает подпрограммы навигации по улицам; определения расстояния до препятствия; распознавания образов, для оценки окружающей обстановки. Для получения данных о расстоянии до объекта используется аппаратный модуль, включающий два ультразвуковых датчика, расположенных в боковых нагрудных карманах. Информация от датчиков обрабатывается микроконтроллером, затем передается через беспроводной канал связи (Bluetooth) на устройство. Специально разработанные корпусы обеспечивают удобство размещения и крепления устройства. Увеличение угла обзора подпрограммы распознавания образов достигается на основе подобранной широкоугольной линзы. С помощью голосовых сообщений пользователь получает информацию от устройства через гарнитуру, также он может с их использованием управлять устройством голосовых команд.

Необходимы рациональная компоновка разработанных устройств; электрических и печатных плат устройства первичного съема информации; создание и апробация интерфейса ПО. Группа пользователей ПО является ограниченной в способностях, поэтому требуется голосовое управление и вывод информации также голосовыми сообщениями. Важным показателем повышения эффективности поиска препятствий является обеспечение заданного угла обзора. Для этого необходим анализ и выбор соответствующей оптической системы.

Результаты исследования и их обсуждение

Аппаратный блок. Разработан модуль первичного съема информации для определения расстояния до ближайшего объекта с использованием ультразвуковых датчиков расстояния. В качестве устройств съема информации о расстоянии до объекта использован ультразвуковой дальномер SRF08 [8]. Датчик превосходит существующие аналоги из модельного ряда: диапазон измерения 0,02÷6м; тип используемого интерфейса I2C; рабочее напряжение 5 В; потребляемый ток 15мА. Для передачи информации используется последовательная шина данных I2С, которая позволяет использовать большее количество датчиков. В разработанном устройстве используются два датчика расстояния с радиусом обзора 60 °, которые разнесены равносильно относительно грудной клетки и закреплены на нагрудных карманах, что обеспечивает эффективный угол обзора ~ 100÷120 °.

Для обеспечения связи с устройством существенной трудностью является возможность занятости WIFI-канала. Из доступных каналов связи средства связи между первичным модулем определения препятствий и устройством. Из доступного ряда выбран Bluetooth-модуль HC-05 [9].

Для повышения компактности и надежности аппаратного модуля разработаны электронная схема и печатная плата на основе микроконтроллера серии STM8L [10]. Микроконтроллер осуществляет опрос датчиков по интерфейсу I2C. Далее полученная информация обрабатывается и поступает в блок передачи данных, который управляется с использованием АТ-команд, поступающих от микроконтроллера.

klyc2a.tif klyc2b.tif

Рис. 2. Интерфейс модуля определения расстояния до объекта

Программный блок. Для подключения устройства к модулю съема первичной информации о расстоянии требуется активизированный Bluetooth. При инициализации экрана приложения пользователю озвучиваются основные команды. Для осуществления подключения достаточно «встряхнуть» телефон. Функционал смартфона предусматривает наличие акселерометра, поэтому сигнал, поступающий с датчика ускорения, при его встряхивании запускает подпрограмму считывания голосового сообщения. Если полученные байты соответствуют тексту «подключить датчик», то осуществляется запуск следующей подпрограммы, которая озвучивает доступные для подключения Bluetooth и предлагает выбрать одно из них. Сообщение воспроизводится пользователю на основе синтеза речи и с использованием активности функции VoiceOver. После озвучивания всех вариантов пользователь вновь встряхивает смартфон. Если полученное текстовое сообщение от пользователя содержит текст: «первое подключение»/«второе подключение»/«третье подключение» и т.д., то в соответствии с номером осуществляется выбор и подключение к соответствующему устройству. Для повторного подключения пользователю достаточно озвучить другую «цифровую команду».

При успешном подключении программа выводит пользователю информацию о ближайшем расстоянии в случае его критичности (рис. 2). Критичным приближением является расстояние в 0,2 м для возможности пользователю остановиться и обойти препятствие.

Вывод информации также осуществляется голосовыми командами. Для проверки работоспособности системы при разработке и отладке информация также дублируется в письменном виде.

Навигация по улицам (рис. 3). Для создания приложения используется ПО в виде GoogleMaps [11]. Пользователю при инициализации экрана озвучивается голосовое сообщение требуемых команд для запуска подпрограммы, а именно: «Адрес» с последующим вводом требуемой информации: страна, город, улица, дом. Также для удобства ввода информации пользователю предлагается совершить колебания телефона с последующим вводом голосового сообщения о конечном адресе следования.

klyc3a.tif klyc3b.tif

Рис. 3. Интерфейс модуля навигации по улицам

Далее пользователю открывается доступ к проложенному маршруту и доступны голосовые подсказки на пути. Также подпрограмма сопровождается голосовой подсказкой «Для создания другого маршрута нажмите кнопку возврат и вновь встряхните телефон».

Функционал программы включает стандартный кнопочный интерфейс для ручного ввода информации, просмотра карты и создания маршрута в случае отладки программного обеспечения, а также для проверки работоспособности ПО для технического обслуживания.

Распознавание образов. Для первичного образца устройства используется программное обеспечение TapTapSee [12]. После команды пользователя «Что впереди?» осуществляется фотографирование местности с последующей отправкой файла на сервер, на котором после обработки изображения и сравнения с эталонами базы данных осуществляется распознавание образов. При этом пользователь получает сообщение о находящихся на фото объектах. Для возврата пользователя к начальному меню по окончанию операции озвучивается сообщение «Щелкните на экран для фото и дождитесь получения результата, для повторного фото щелкните вновь по экрану, для возврата используйте кнопку назад». Для корректной работоспособности системы требуется активность функции «TalkBack» в основном меню Android [13].

Изготовление корпуса устройства. Датчики расстояния должны быть защищены от внешних воздействий окружающей среды, не мешать пользователю и окружающим, а также быть максимально незаметными. Спроектированный нами корпус удобен для пользования, так как он универсален для любой одежды. Острые крепежи заклепочного типа впаяны в крышку корпуса, фиксируются с обратной стороны ткани одежды, это обеспечивает возможность быстро снять датчики при смене одежды пользователем и закрепить вновь без сторонней помощи. Отсек для элемента питания имеет размеры, допустимые для вмещения наиболее распространенных типов корпусов 1604, 6F22, 6R61б, CR-9V, ER9V и т.п.

Корпус устройства крепится к смартфону пользователя с внешней стороны при помощи силиконовой прослойки. Длина корпуса не мешает работоспособности видеокамеры смартфона и не ограничивает угол обзора для слежения за обстановкой. Ширина корпуса не выходит за рамки двойного размера среднестатистического смартфона.

Выбор линзы. Для получения максимальной информации из внешней среды требуется увеличить угол обзора выходной камеры устройства съема. Поэтому из рассмотренных различных вариантов выбрана линза Fisheye, которая для телефона является сверхширокоугольной с неисправленной дисторсией. От обычных короткофокусных объективов отличается ярко выраженной нескорректированной бочкообразной дисторсией и искажённым отображением прямых линий в виде дугообразных кривых. Угол поля зрения таких линз может достигать 180 ° или превышать эту величину [14].

Заключение

На основе анализа результатов патентного поиска предложено устройство распознавания препятствий, отличающееся от аналогов интеграцией различных технических решений, включающих навигацию по улицам, определение расстояния до объекта, распознавание с использованием общего интерфейса, что является предпочтительным для людей, имеющих ограничения по зрению. Разработан и протестирован прототип устройства со следующими характеристиками: первичное определение расстояния в диапазоне от 0,02 м до 6 м с радиусом обзора 80~120 °; погрешность навигации по улицам города: 5–15 м; время отклика сообщения распознавания предметов: 10–20 с, возможная погрешность в зонах отсутствия 3G сигнала: 10–20 с. Достигнутые значения параметров являются допустимыми для свободного передвижения по улицам города. Отличительными характеристиками устройства являются: комплексное использование нескольких средств распознавания препятствий (датчик расстояния, камера), дополнительно совмещенная с возможностью навигации по улицам, удобство использования устройства, возможность управления и получения информации голосовыми сообщениями. Предлагаемое новое устройство распознавания препятствий позволяет повысить мобильность при ориентировании людей-инвалидов в условиях города.

Работа выполнена при поддержке гранта № 5903ГУ/2015 от 11.06.2015Фонда содействия инновациям.