一种基于深度学习算法的自动化导盲装置制造方法及图纸

本发明专利技术创造提供了一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。本发明专利技术借助佩戴在盲人胸前的超声波阵列，实现对盲人周围环境的障碍物检测，并结合电机驱动的压力装置，在超声波模块对应的位置对盲人施加与障碍物距离相对应的压力感，使得盲人可以感知到周围环境中障碍物的距离和方位。

An Automatic Blind Guide Device Based on Deep Learning Algorithms

The invention provides an automatic blind guiding device based on depth learning algorithm, which includes: camera, navigation device, voice input module, ultrasonic module, infrared module fast, IMU inertial measurement module, depth learning unit and embedded unit; the output terminals of the camera, navigation device, voice input module and IMU inertial measurement module are all transmitted with depth learning unit. The input end of the ultrasonic module and the infrared module are connected with the input end of the embedded unit, and the output end of the deep learning unit is connected with the input end of the embedded unit. The invention realizes the obstacle detection of the surrounding environment of the blind person by means of an ultrasonic array worn in front of the blind person's chest, and applies a pressure sense corresponding to the distance of the obstacle to the blind person at the corresponding position of the ultrasonic module combined with a pressure device driven by a motor, so that the blind person can perceive the distance and orientation of the obstacle in the surrounding environment.

【技术实现步骤摘要】
一种基于深度学习算法的自动化导盲装置
本专利技术创造属于领域，尤其是涉及一种基于深度学习算法的自动化导盲装置。
技术介绍
人类获得信息中90％源于视觉系统，因此，视力的丧失会严重影响生存质量。盲人由于眼睛看不见，日常生活有很大障碍，尤其是出行困难。目前有很多种方法进行导盲，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在一定的缺陷：①、使用盲杖探测，探测范围过小，盲人通过敲触大地或者周围的物体来断定行走方向，以及需要停下与否；这类拐杖的弊端很多，特别是它难以发现很远的物体和悬在半空中的物体；②、使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。例如，国内外带语音提示的导盲器是由超声波探测器获取数据，经单片机处理后将数据发送给语音提醒器，然后驱动语音芯片提醒。然而，这种导盲器是通过不同音量、音调、节奏的提示音或者是误差较大的分段式语音提示对盲人进行提醒，只能使盲人对障碍物的距离有个大概的判断，并且，消耗了盲人的大量精力，容易造成错误判断。
技术实现思路
有鉴于此，本专利技术创造旨在提出一种探测范围更广泛、操作更人性化的基于深度学习算法的自动化导盲装置。为达到上述目的，本专利技术创造的技术方案是这样实现的：一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。进一步的，所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。进一步的，所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及IMU惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。进一步的，所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。进一步的，所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。进一步的，所述的路径规划模块的输出端与电机驱动电路的输入端连接。进一步的，所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。相对于现有技术，本专利技术创造所述的一种基于深度学习算法的自动化导盲装置具有以下优势：本专利技术借助佩戴在盲人胸前的超声波阵列，实现对盲人周围环境的障碍物检测，并结合电机驱动的压力装置，在超声波模块对应的位置对盲人施加与障碍物距离相对应的压力感，使得盲人可以感知到周围环境中障碍物的距离和方位。盲人通过本专利技术当前方遇到障碍时，对应障碍物位置，所述的超声传感器将检测到障碍，同时距离障碍越近，动力施加装置伸出越长，盲人就会在这个位置感觉到越多的压力，从而感知到障碍物的方向以及距离。此外，本专利技术还使用了双目视觉传感器，如ZED等摄像头获取前方深度信息进行深度探测，这种探测方式范围更广泛。设计语音模块，使盲人语音输入目的地，使操作更人性化。附图说明构成本专利技术创造的一部分的附图用来提供对本专利技术创造的进一步理解，本专利技术创造的示意性实施例及其说明用于解释本专利技术创造，并不构成对本专利技术创造的不当限定。在附图中：图1为本专利技术创造实施例所述的结构示意图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术创造中的实施例及实施例中的特征可以相互组合。在本专利技术创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本专利技术创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本专利技术创造中的具体含义。下面将参考附图并结合实施例来详细说明本专利技术创造。一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。进一步的，所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。进一步的，所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及IMU惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。进一步的，所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。进一步的，所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。进一步的，所述的路径规划模块的输出端与电机驱动电路的输入端连接。进一步的，所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。本专利技术由双目相机、超声波检测、具有地图信息的导航装置、红外模块、语音交互模块及电源模块、深度学习运算单元和嵌入式单元组成。集成了周围环境识别、障碍物识别、定位、障碍物运行速度和距离识别、GPS定位、路线规划、人性化的语音人机交互等功能。其中，(1)语音输入模块——接收盲人的语音命令，输入至所述的深度学习单元的自然语言处理模块进行识别处理，解析出目的地等信息后，调用pathplanning路径规划模块进行规划。此外，本装置还包括语音提示模块，与障碍物检测定位模块连接，用于接收所述预处理模块所识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。该模块采用深度学习算法处理。(2)相机——针对双目相机模块，设置为对应于左、右眼的可穿戴式的摄像头，两者平行，且轴距在5‐10cm。摄像头在用户使用系统时，实时采集前方图像，然后将数据传送到深度学习运算模块的预处理模块，预处理模块提取图片的特征后输入到障碍物检测定位模块；(3)导航装置——具有地图信息的GPS+无线传输模块，与障碍物检测定位模块相连，传送GPS定位信息，与双目本文档来自技高网...

【技术保护点】
1.一种基于深度学习算法的自动化导盲装置，其特征在于：包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。

【技术特征摘要】
1.一种基于深度学习算法的自动化导盲装置，其特征在于：包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。2.根据权利要求1所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。3.根据权利要求2所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的语音输入模块的输出端与自然语言处理模块的...

【专利技术属性】
技术研发人员：东东，张晓晴，黄翊峰，万晏辰，穆国栋，朱康康，张妮莎，
申请(专利权)人：清华大学天津高端装备研究院，
类型：发明
国别省市：天津,12