一种多功能导盲杖制造技术

本发明专利技术公开了一种多功能导盲杖，包括信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输输入信息；计算加速模块，用于搭载经过迁移学习的神经网络模型，对信息采集模块采集的图像信息进行模型推理，并向中心模块返回目标检测结果；中心模块，用于接收输入信息和目标检测结果，并转化为文字信息、导航信息和图像识别信息后传输至语音输出模块；语音输出模块，用于将文字信息、导航信息和图像识别信息转化为语音进行输出。相较于现有技术，本发明专利技术实现了定位导航、测距避障、实时目标识别以及语音播报等功能，可显著提高盲人日常生活的便捷性，更好地保护盲人的出行安全。

A multifunctional guide stick

【技术实现步骤摘要】
一种多功能导盲杖
本专利技术涉及集成电路领域，尤其涉及一种多功能导盲杖。
技术介绍
目前市面上的导盲杖以传统导盲杖为主，然而，传统导盲杖仅仅支持用户通过敲打的方式来规避障碍，导盲杖仅仅具有避障功能，功能单一。此外，少量的智能导盲杖还具备避障和警报功能，当用户使用智能导盲杖时，可以借助智能导盲杖获取障碍物的距离信息，若出现距离过近的障碍物，用户能够获取相关的警报信息。但是，用户无法在不经肢体接触的情况下判别前方障碍物的种类，因此，现有的智能导盲杖只能实现简单的避障和警报功能，但仍然不能完全满足盲人对于获取更多周围环境信息的需求。
技术实现思路
本专利技术提供了一种多功能导盲杖，以解决现有的导盲杖功能单一，只能通过敲打障碍物来规避障碍，无法让用户远距离地开始规避障碍的缺陷，这些缺陷导致用户在使用过程中安全性较低这一问题。同时，本专利技术提供的目标检测功能可以让导盲杖用户获取更多的周围环境信息，给用户提供了更为人性化的使用体验，同时可以让用户提前做好行动判断。本专利技术提供的一种多功能导盲杖，包括：信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。进一步地，在一种实现方式中，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；所述目标检测算法模型选用SSD算法，所述SSD算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用MobileNet网络，通过所述MobileNet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用Intel的神经元计算棒。进一步地，在一种实现方式中，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。进一步地，在一种实现方式中，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：深度卷积，根据第一卷积核大小Dk×Dk×1×M，获得第一计算量为：Dk×Dk×M×DF×DF逐点卷积，根据第二卷积核大小1×1×M×N，获得第二计算量为：M×N×DF×DF所述深度可分离卷积的计算量为第一计算量与第二计算量之和：Dk×Dk×M×DF×DF+M×N×DF×DF。进一步地，在一种实现方式中，所述卷积神经网络选用在ImageNet数据集上预训练好的模型，在制作的数据集上进行迁移学习。进一步地，在一种实现方式中，所述信息采集模块包括语音采集单元，用于采集并识别所述用户语音信息，将所述用户语音信息传输至中心模块内置的导航软件中，通过所述导航软件获取导航的目的地址，再根据所述导航的目的地址和坐标信息确定导航路径；所述中心模块将导航路径转化为导航信息，传输至语音输出模块，所述语音输出模块将导航信息转化为语音信息并输出；所述语音采集单元选用科大讯飞XFMT101离线识别模块。进一步地，在一种实现方式中，所述信息采集模块包括图像采集单元，用于采集所述图像信息，包括采集所述导盲杖正前方向上60°至正前方向下60°范围内，以及所述导盲杖正前方向左45°至正前方向右45°范围内的图像信息；所述图像采集单元包括摄像头，所述图像采集单元选用型号为罗技C270/I的摄像头。进一步地，在一种实现方式中，所述信息采集模块包括GPS单元，用于采集所述坐标信息，所述坐标信息即导盲杖所在坐标信息；所述GPS单元选用ZBT公司的型号为SIM28ML的GPS定位器。进一步地，在一种实现方式中，所述信息采集模块包括距离传感器，用于采集所述距离信息，所述距离传感器通过测量距离传感器发射出的脉冲信号被障碍物反射回来的时间，计算所述导盲杖与障碍物之间的距离；当所述导盲杖与障碍物之间的距离小于预设距离阈值时，所述距离传感器向中心模块发送障碍物距离过近信息，所述中心模块接收到障碍物距离过近信息后，向语音输出模块发送警报信息，所述警报信息在中心模块中预先设定，所述语音输出模块接收到所述警报信息后，输出与所述警报信息相应的警报声。进一步地，在一种实现方式中，所述中心模块通过USB接口分别与信息采集模块和计算加速模块连接；所述中心模块选用RaspberryPi3b+；所述语音输出模块为中心模块自带的博通声卡设备。由以上技术方案可知，本专利技术实施例提供一种多功能导盲杖，包括：中心模块，用于接收数据，数据预处理，数据传输，信号转换以及运行导航软件；数据采集模块，用于通过语音采集单元、图像采集单元、GPS单元以及距离传感器采集输入信息，所述输入信息包括语音、图像、坐标以及距离；计算加速模块，用于搭载经过迁移学习的神经网络模型，对输入的图像做模型推理，返回计算结果。本专利技术实施例提供的一种多功能导盲杖不但利用深度神经网络实现了目标检测的功能，而且利用神经元计算棒极大提高了模型计算速度，使得目标检测的实时性得到保证。本专利技术使用CNN来对神经网络进行训练，实现了图像识别的功能，并配备了神经元计算棒，保证图像识别的实时性。此外，现有技术中的导盲杖使用距离传感器实现测距预警的功能，而本专利技术在此功能上，还具备GPS定位导航，图像识别的功能。进一步地，现有技术中的导盲杖在云计算基础上进行定位、避障的应用设计，而本专利技术的图像识别功能是其不具备的。因此，本专利技术开发一种具备导航、避障、实时物体识别的导盲杖，给盲人的日常生活带来更多便利，增加盲人出行的安全性。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对本文档来自技高网...

【技术保护点】
1.一种多功能导盲杖，其特征在于，包括：/n信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；/n所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；/n所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；/n语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。/n

【技术特征摘要】
1.一种多功能导盲杖，其特征在于，包括：
信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；
所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；
所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；
语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。


2.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；
所述目标检测算法模型选用SSD算法，所述SSD算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用MobileNet网络，通过所述MobileNet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用Intel的神经元计算棒。


3.根据权利要求2所述的一种多功能导盲杖，其特征在于，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；
所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；
所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；
其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；
所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。


4.根据权利要求3所述的一种多功能导盲杖，其特征在于，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：
深度卷积，根据第一卷积核大小Dk×Dk×1×M，获得...

【专利技术属性】
技术研发人员：蒋照宇，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32