基于深度学习的导盲系统及工作方法技术方案

本发明专利技术公开了基于深度学习的导盲系统及工作方法，包括与中央处理器连接的图像采集装置，定位装置，悬空物体检测装置，震动、声音反馈装置。图像采集装置，定位装置，悬空物体检测装置采集当前的信息发送给中央处理器，中央处理器通过传感器数据信息，使用深度学习的图像处理方法生成虚拟盲道，利用耳机声音反馈装置、震动反馈装置进行反馈，给盲人实时指引路线。另外盲杖社交功能能够促进盲人融入社会，更多地走到户外。

Blind guiding system and working method based on deep learning

The invention discloses a blind guiding system and a working method based on deep learning, including an image acquisition device, a positioning device, a hanging object detection device, a vibration and sound feedback device connected with the central processor. The image acquisition device, positioning device, floating object detecting device collecting and sending current information to the central processor, the central processor through the sensor data, image processing method using deep learning to generate a virtual blind, using headset sound feedback device, vibration feedback feedback device for the blind, real-time route guidance. In addition, the blind stick social function can promote the blind into society, more outdoor.

【技术实现步骤摘要】
基于深度学习的导盲系统及工作方法
本专利技术属于智能硬件领域，具体涉及基于深度学习的导盲系统及工作方法。
技术介绍
中国约有1200万盲人，是世界上盲人最多的国家。并且中国已经有全球长度最长，分布最广的盲道，然而有些地方盲杖破损严重，有些地方盲道建设率低，极大不便于盲人群众的出行。为解决这一问题，中国专利专利技术号CN201611073712.1设计研发一种用于盲人行走防撞的鞋带天线，包括系于鞋上的鞋带与馈电端，鞋带植入有金属丝，馈电端包括同轴接头、微波介质基板和金属地，微波介质基板位于金属地上方，同轴接头贯穿微波介质基板和金属地设置；同轴接头包括与鞋带连接的探针，鞋带作为辐射体，馈电通过所述探针实现；本专利技术应用于盲人行走过程中的防撞探测，预期可作为一种较为通用的工具。但是该专利技术未能对盲人的路径进行指引。中国专利专利技术号CN106491321A专利技术提供了一种耳机式智能导盲系统，包括耳机式智能导盲装置。耳机式智能导盲系统通过设置成耳机式智能导盲装置和遥控器的分体结构，方便盲人携带、操控，为盲人提供安全、简便的出行方式。但是对于盲道缺失的情况，该专利技术不能较好地应对。中国专利专利技术号CN106389078A，本专利技术提供一种智能导盲眼镜系统及其导盲方法，包括图像采集模块采集使用者周围的环境图像，并将获取的图像上传至中央控制模块，语音处理模块与中央控制模块相连，4G通信模块为眼镜端和负责识别测距的云服务器建立实时相互通信，并实现语音通话功能，中央控制模块对常见物体通过图像模板匹配和视差图进行识别与测距，如无法辨别，再利用4G通信模块发送至云服务器，云服务器通过在云服务器上搭建软件平台建立图像分析系统，利用深度学习神经网络，建立图像学习数据库，从上传的图像中获取障碍物距离与类别信息，并将信息反馈回中央控制模块。以解决现有智能导盲眼镜功能单一、智能水平较低的问题。本专利技术属于智能导盲领域。但是该专利技术摒弃了盲杖，推广较为困难。
技术实现思路
本专利技术的目的在于克服上述不足，提供一种基于深度学习的导盲系统及工作方法，针对盲道缺失或破损严重的路段，本系统能有效地指引导航。为了达到上述目的，一种基于深度学习的导盲系统，包括中央处理器，与中央处理器连接的图像采集装置、定位装置、悬空物体检测装置、按钮、震动反馈装置和声音反馈装置；所述中央处理器用于接受悬空物体检测装置和按钮的信息并运行避障策略，结合图像处理结果，得出合适的引导策略，将最后结果发送至震动反馈装置和声音反馈装置中；所述图像采集装置用于获取RGB图像，并将RGB图像发送至中央处理器中；所述定位装置用于获取盲杖的当前定位，并发送至中央处理器中；所述悬空物体检测模块用于探测前方的悬空障碍物，并发送结果至中央处理器中；所述按钮用于调节中央处理器的工作模式；所述震动装置用于将中央处理器的处理内容进行震动提示；所述声音反馈装置用于将中央处理器的处理内容进行语音提示。中央处理器所述图像采集装置能够拍摄800万像素图片和录制1080p的视频，并通过CSI接口与中央处理器连接。所述定位装置采用NEO-6Mublox卫星定位装置。所述悬空物体检测装置采用JSN-SR04T一体化超声波测距装置。所述震动反馈装置采用1027震动马达装置。所述声音反馈装置采用骨传导蓝牙耳机装置。一种基于深度学习的导盲系统的工作方法，包括以下步骤：步骤一，按动按钮选择功能；步骤二，由图像采集装置将获取的RGB图像发送至中央处理器中，悬空物体检测装置将前方信息发送至中央处理器中，定位装置将当前位置信息发送至中央处理器中；步骤三，中央处理器将通过RGB图像进行深度学习算法图像处理，得到当前道路功能所需的信息，并将结果发送至声音反馈装置和震动装置中；步骤四，声音反馈装置播放结果，震动装置做出相应的震动指示。当通过按钮启用“虚拟盲道”功能后，图像采集装置采集道路信息，中央处理器对图像采集装置收集的数据进行分析，生成一条适合盲人行走的路径。中央处理器会判断盲道是否完整，并通过声音反馈装置进行反馈；若盲道完整，则引导盲人走上盲道；若盲道不完整，中央处理器将放弃盲道信息，根据周围环境物体时空信息，重新规划线路。无论有无盲道，最终都会通过声音、震动反馈装置指引盲人避开障碍物，自如行走。当通过按钮启用“场景描述”功能后，中央处理器通过图像采集装置收集图片数据，生成描述此图像数据的语言，并通过声音反馈装置反馈。当通过按钮启用“盲杖社交”功能后；第一步，通过定位装置采集当前位置，并中央处理器发送至中央处理器；第二步，中央处理器通过欧式距离判断用户距离是否小于阈值，若否，则不启动位置共享；若是，则将信息指令发送至对方；第三步，与对方确认是否需要交友，若否，则反馈后不执行任何操作；若是，则发送见面交友请求；第四步，若对方不同意，则反馈后不执行任何操作；若同意，中央处理器计算双方距离，并引导双方见面；第五步，中央处理器实时处理两者距离信息，并判断两者是否见面，若是则完成。与现有技术相比，本专利技术的装置将导盲系统融入于盲杖之中，尊重了盲人的固有习惯，中央处理器通过图像采集装置和悬空物体检测装置对外接信息进行采集，结合深度学习的图像处理方法，生成虚拟盲道，并利用耳机等声音反馈装置、震动反馈装置给盲人实时指引路线，。另外盲杖社交功能能够促进盲人融入社会，更多地走到户外；本专利技术的控制方式为按键以及语音操作，使盲人能够更加方便且轻松的使用。本专利技术的方法建立了基于深度学习的图像识别系统，融合多种图像处理技术，提高了盲杖识别决策的准确性，大大提高了盲杖的智能性。附图说明图1为本专利技术的结构示意图；图2为本专利技术的虚拟盲道功能的流程图；图3为本专利技术虚拟盲道功能的流程图；图4为本专利技术盲杖社交功能的流程图；其中，1、中央处理器；2、图像采集装置；3、定位装置；4、悬空物体检测装置；5、按钮；6、震动装置。具体实施方式下面结合附图对本专利技术做进一步说明。参见图1，一种基于深度学习的导盲系统，包括与中央处理器1连接的图像采集装置2、定位装置3、悬空物体检测装置4、按钮5、震动反馈装置6和声音反馈装置；图像采集装置2用于获取RGB图像，并将RGB图像发送至中央处理器1中；悬空物体检测模块4用于探测前方的悬空障碍物，并发送至中央处理器1中；按钮5用于调节中央处理器1的工作模式；声音反馈装置用于将中央处理器1的处理内容进行提示；中央处理器1用于接收悬空物体检测模块4和按钮5的信息，运行本地的避障策略，结合图像处理结果，得出合适的引导策略，并将最后结果发送至震动及声音反馈装置。中央处理器1使用树莓派3，负责运行避障策略，结合深度学习图像处理结果，生成“虚拟盲道”，得出合适的引导策略。同时，将GPS定位设备的信息发送到中央处理器1。图像采集装置2采用树莓派官方推出的摄像头CameraModule，能够拍摄800万像素图片和录制1080p的视频，并通过CSI接口与中央处理器1连接。摄像头拍照色彩真实，接口牢固，同时功耗低，免USB驱动。其负责采集前方图像信息，是本系统核心信息来源。为中央处理器1识别物体，描述场景等功能提供数据来源。定位装置3采用NEO-6Mublox卫星定位装置，该装置具有具有高灵敏度、低功耗、小型化、定位覆盖面广等特点。悬空物体检测装置4采用JSN-SR04T一体本文档来自技高网...

【技术保护点】
一种基于深度学习的导盲系统，其特征在于，包括与中央处理器(1)连接的图像采集装置(2)、定位装置(3)、悬空物体检测装置(4)、按钮(5)、震动装置(6)和声音反馈装置；所述中央处理器(1)用于运行本地的避障策略，结合图像处理结果，得出合适的引导策略，悬空物体检测装置(4)和按钮(5)的信息发送到中央处理器(1)，并将最后结果发送至震动反馈装置(6)和声音反馈装置中；所述图像采集装置(2)用于获取RGB图像，并将RGB图像发送至中央处理器(1)中；所述定位装置(3)用于获取盲杖的当前定位，并发送至中央处理器(1)中；所述悬空物体检测模块(4)用于探测前方的悬空障碍物，并发送至中央处理器(1)中；所述按钮(5)用于调节中央处理器(1)的工作模式；所述震动装置(6)用于将中央处理器(1)的处理内容进行震动提示；所述声音反馈装置用于将中央处理器(1)的处理内容进行语音提示。

【技术特征摘要】
1.一种基于深度学习的导盲系统，其特征在于，包括与中央处理器(1)连接的图像采集装置(2)、定位装置(3)、悬空物体检测装置(4)、按钮(5)、震动装置(6)和声音反馈装置；所述中央处理器(1)用于运行本地的避障策略，结合图像处理结果，得出合适的引导策略，悬空物体检测装置(4)和按钮(5)的信息发送到中央处理器(1)，并将最后结果发送至震动反馈装置(6)和声音反馈装置中；所述图像采集装置(2)用于获取RGB图像，并将RGB图像发送至中央处理器(1)中；所述定位装置(3)用于获取盲杖的当前定位，并发送至中央处理器(1)中；所述悬空物体检测模块(4)用于探测前方的悬空障碍物，并发送至中央处理器(1)中；所述按钮(5)用于调节中央处理器(1)的工作模式；所述震动装置(6)用于将中央处理器(1)的处理内容进行震动提示；所述声音反馈装置用于将中央处理器(1)的处理内容进行语音提示。2.根据权利要求1所述的一种基于深度学习的导盲系统，其特征在于，所述图像采集装置(2)能够拍摄800万像素图片和录制1080p的视频，并通过CSI接口与中央处理器(1)连接。3.根据权利要求1所述的一种基于深度学习的导盲系统，其特征在于，所述定位装置(3)采用NEO-6Mublox卫星定位装置。4.根据权利要求1所述的一种基于深度学习的导盲系统，其特征在于，所述悬空物体检测装置(4)采用JSN-SR04T一体化超声波测距装置。5.权利要求1所述的一种基于深度学习的导盲系统的工作方法，其特征在于，包括以下步骤：步骤一，按动按钮(5)选择功能；步骤二，由图像采集装置(2)将获取的RGB图像发送至中央处理器(1)中，悬空物体检测装置(4)将前方信...

【专利技术属性】
技术研发人员：黄钟健，梁情思，焦李成，刘畅，李兆达，舒凯，徐铭晟，孙其功，黄昊明，韩笑，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61