一种交互式盲人智能辅助装置及方法制造方法及图纸

本发明专利技术提供了一种交互式盲人智能辅助装置及方法，属于盲人智能辅助装置研究领域，整个装置是一个机器犬，包括主处理器模块和与主处理器模块连接的功能模块、运动模块、传感模块、通信模块、定位模块、语音模块、警示模块及电源模块。本发明专利技术的辅助装置能够实现自主导航循迹、盲道识别、路口信号灯识别、自然场景文字识别、实时调速、语音播报等功能，机器犬中还设置有减震装置来保证其稳定行驶在凹凸路面上，在楼宇之中，机器犬能够从自主导航切换到人工控制行走，当遇到紧急情况时，还能够与紧急联系人通信，为盲人出行带来了很多的便利。

An interactive intelligent assistant device and method for blind people

【技术实现步骤摘要】
一种交互式盲人智能辅助装置及方法
本专利技术属于盲人智能辅助装置研究领域，尤其涉及一种交互式盲人智能辅助装置及方法。
技术介绍
残障人士在我国一直被社会广泛关注，其中，盲人群体的生存状况是长久以来为社会所关注的话题。随着城市中无障碍设施建设的快速发展，盲人群体的出行越来越便利，但是目前盲人群体的出行仍然存在许多潜在危险。盲道占用的情况屡见不鲜，导致盲人无法有效感知道路前方障碍，从而给盲人带来意外伤害。导盲犬的存在能够有效解决这一问题，但是导盲犬训练难度大，训练周期长，能够进行有效工作的犬种数量很少，无法满足国内如此庞大的盲人群体的需求；更为重要的是，导盲犬无法阅读理解自然场景中的文本信息，无法反馈商品、广告等信息。现有的导盲设备大多强调设备自主传感感知，忽略了道路条件及盲人步伐；传统盲人辅助设备无法有效行驶在路面条件较差的道路上。目前急需一种能够代替导盲犬工作的交互式智能辅助设备，以保障盲人安全出行，实现语音交互、平稳行驶、文字阅读、紧急呼救等功能。
技术实现思路
针对现有技术中存在不足，本专利技术提供了一种交互式盲人智能辅本文档来自技高网...

【技术保护点】
1.一种盲人智能辅助装置，其特征在于，包括主处理器模块(12)和与主处理器模块(12)连接的功能模块(1)、运动模块、传感模块、通信模块(15)、定位模块、语音模块(19)、警示模块、电源模块(18)；主处理器模块(12)控制运动模块带动辅助装置行走；主处理器模块(12)接收传感模块传递的数据并进行处理；主处理器模块(12)控制通信模块进行文字识别以及发送短信；主处理器模块(12)接收定位模块传递的数据，并进行路径规划以及侧翻判断；主处理器模块(12)控制语音模块(19)进行人声识别以及播报语音提示；主处理器模块(12)控制警示模块开启以提醒周边行人注意避让。/n

【技术特征摘要】
1.一种盲人智能辅助装置，其特征在于，包括主处理器模块(12)和与主处理器模块(12)连接的功能模块(1)、运动模块、传感模块、通信模块(15)、定位模块、语音模块(19)、警示模块、电源模块(18)；主处理器模块(12)控制运动模块带动辅助装置行走；主处理器模块(12)接收传感模块传递的数据并进行处理；主处理器模块(12)控制通信模块进行文字识别以及发送短信；主处理器模块(12)接收定位模块传递的数据，并进行路径规划以及侧翻判断；主处理器模块(12)控制语音模块(19)进行人声识别以及播报语音提示；主处理器模块(12)控制警示模块开启以提醒周边行人注意避让。


2.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述功能模块(1)通过牵引绳与主处理器模块(12)连接，包括CMOS摄像头(25)模块和功能按键，用于获取周边环境信息以及控制辅助装置工作。


3.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述运动模块包括麦克纳姆轮(8)，麦克纳姆轮(8)与编码减速电机(9)连接，编码减速电机(9)与电机驱动模块(11)连接，电机驱动模块(11)与主处理器模块(12)连接，用于控制机器犬的行走速度和方向；编码减速电机(9)的固定座与减震装置(13)螺钉连接，减震装置(13)与机器犬底盘(14)螺钉连接。


4.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述传感模块包括超声波传感器(3)模块、压力传感器模块和摄像头模块，分别用于测距、检测压力值、捕捉信号灯状况和道路状况；所述警示模块包括LED警示灯(7)。


5.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述通信模块(15)包括GSM通信模块、GPRS通信模块和服务器，用于向紧急联系人发送位置信息和呼叫短信，进行文字识别；所述定位模块(16)包括GPS模块和6轴陀螺仪(17)，用于为盲人规划路径，获取机器犬运动状态。


6.根据权利要求1所述的盲人智能辅助装置，其特征在于，所述语音模块(20)包括非特定人声语音识别模块和语音播报模块，非特定人声语音识别模块的麦克风通过导线延伸至功能模块(1)中，用于采集盲人的语音数据并进行识别；语音播报模块的扬声器(19)通过导线延伸出来并固定在机器犬胡须处，用于向盲人播报不同的语音提示。


7.利用权利要求1至6任一项权利要求所述的辅助装置的辅助方法，其特征在于，打开电源开关(21)，按下自主运行按键(22)，主处理器模块(12)控制非特定人声语音识别模块采集人声并交由服务器识别，控制语音播报模块向盲人反馈地址信息；主处理器模块(12)控制GPS模块定位并进行路径规划，同时开启摄像头一(4)捕获道路数据，进行盲道识别；盲人行走到路口时，主处理器模块(12)开启摄像头二(5)、摄像头三(6)捕捉信号灯位置及状态信息并进行识别处理，根据识别结果引导盲人安全穿过道路；到达目的地后，盲人按下手动行驶按键(27)，通过摇杆(28)控制辅助装置行走，再次按下手动行驶按键(27)后，恢复自主导航行驶模式。


8.根据权利要求7所述的辅助方法，其特征在于，所述盲人按下拍照按键(25)，CMOS摄像头(26)采集周边图像数据并传递到服务器，服务器在深度学习网络模型中加入SEBlock结构，对特征图进行自适应多边形文本框标注，识别文本框中的文字信息，并通过语音播报模块告知盲人；文本框标注的具体算法过程如下：
深度学习网络模型总体损失函数定义如下：

【专利技术属性】
技术研发人员：陈小顺，王良君，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32