一种导盲系统技术方案

本发明专利技术公开了一种导盲系统，包括视觉取样模块、语音交互模块、本地图像识别模块、通讯模块及远程信息处理模块，按键控制模块；采用本地与云端两相结合对图片进行识别匹配，主要工作模式为导盲模式和生活模式；导盲模式适用于盲人街道出行，主要实现避障功能；生活模式，适用于盲人在日常生活中进行取物或是观景等场景。通过本发明专利技术的技术方案，能够解决视觉障碍人士的安全出行问题。人士的安全出行问题。人士的安全出行问题。

【技术实现步骤摘要】
一种导盲系统


[0001]本专利技术涉及一种导盲系统，尤其涉及一种基于轻量级神经网络的辅助视觉障碍人士出行的导盲系统。

技术介绍

[0002]视觉障碍患者作为社会的弱势群体，缺少了一种感知外界的重要途径，在工作生活中面临着种种问题。主流的导盲方式，基于超声探测的导盲仪器以及导盲犬。前者具有探测范围小，使用环境受限的缺陷，后者数量少，训练成本高，缺乏普适性。
[0003]近年也出现了许多对于新型导盲设备的研究。主要有：射频识别技术(RFID，Radio Frequency Identification)、传感器及机器学习等技术。RFID方法通过对障碍物或其他需要识别判断的物体植入无源标签，视觉障碍人士通过指套上内置的RFID模块接收信息，再将信号传输到可穿戴设备的微型机上进行处理，以触觉或语音的方式反馈给用户。该方法中的电子标签可以反复设置，且能在短距离内实现快速识别，但缺点也很明显，只适用于放置了标签的特殊环境，无法大面积推广使用。传感器的方法常与超声波探测技术结合。如西班牙研究人员利用蝙蝠声波定位系统研制的回音定位辅助盲人导航系统；德国康斯坦茨大学的几名研究生利用微软的体感外设Kinect制成新型导盲仪；新加坡国立大学的研究者依靠导盲手杖的定位系统及传感器等内置设备研制出新型导盲手杖以及中科院声学研究所通信声学实验室研制的“超声波导盲仪和便携GPS盲人导航系统”等。这种方法摆脱了RFID方法对场景的限制，更具有普适性，也是当今导盲市场的主流方法。但往往难以处理复杂环境，且检测范围较小。
[0004]上述导盲方式均不能使视觉障碍人士拥有直观的“视觉”体验，仅仅停留在测距的层面上，对于障碍物的类别等具体信息难以获知。近几年随着人工智能，神经网络等技术大力发展，有人将支持向量机，卷积神经网络等图像识别手段运用到避障导盲领域中。与传统导盲方式相比，这种方式功能更加健全，测距范围也进一步增大，且生产成本降低，通过大量数据集的训练优化，实现目标的具体识别，在“认知”的基础上实现避障。

技术实现思路

[0005]为了解决视觉障碍人士安全放心的出行问题，本专利技术基于计算机视觉里的目标检测思想，双目深度估计思想，提出一种基于轻量级神经网络的辅助视觉障碍人士出行的导盲系统，本专利技术的具体技术方案如下：
[0006]一种导盲系统，在眼镜的两个镜片上分别安装性能和参数相同的高清摄像头形成双目摄像头，两个摄像头关于眼镜的中轴对称，两个摄像头以设置的固定频率采集使用者前方的环境图像，并压缩为jpeg格式，所述系统还包括视觉取样模块、语音交互模块、本地图像识别模块、远程信息处理模块、按键控制模块及通讯模块，其中，
[0007]所述视觉取样模块，用户通过语音输入或按键控制选择对拍摄图像进行本地处理或远程处理，根据选择结果将拍摄的图像信息传送至所述本地图像识别模块或所述远程信
息处理模块；
[0008]所述语音交互模块与所述视觉取样模块相连，用于语音识别和语音合成，将用户的语音信息转化成系统指令下发，同时播报所述本地图像识别模块或所述远程信息处理模块传送的txt文本；用户的手机通过蓝牙连接所述导盲系统，能够通过选用的内置的语音合成芯片将文本信息转换成语音信息播放，以便及时获取信息；
[0009]所述本地图像识别模块，以针对移动和嵌入式设备的轻量级卷积神经网络为框架，对所述视觉取样模块的图像信息进行特征提取与目标检测并结合双目深度估计原理完成距离定位，将检测结果生成txt文本，根据用户的选择传送至所述语音交互模块，如果检测到用户与障碍物的距离小于设定的安全距离，则直接传送至所述语音交互模块；
[0010]所述远程信息处理模块，在远程计算机或云服务器上搭建软件平台，构建高精度深层卷积神经网络，用于实现比所述本地图像识别模块更详细的图像检测算法及优化语言处理，当用户选择采用所述远程信息处理模块进行目标检测时，能够检测出除避障必备的障碍信息及交通信息之外的其他信息，将检测结果生成txt文本，结合所述语音交互模块进行播报，实现具体画面描述；如果检测到用户与障碍物的距离小于设定的安全距离，则直接传送至所述语音交互模块；
[0011]所述按键控制模块，在眼镜框的左右两侧分别设置3个按键，每个按键的按下与弹起分别对应相应的指令，实现命令的传输，其中，
[0012]左一按键：用于控制是否播报所述本地图像识别模块或所述远程信息处理模块生成的txt文本，按下即选择播报txt文本，弹起则不播报；
[0013]左二按键：用以控制是否系统自动更新，按下则选择是，弹起则选择否；
[0014]左三按键：用以控制是否打开语音输入，按下则开启语音输入，弹起则关闭；
[0015]右一按键：用以控制是否开启上网功能，按下则开启，弹起则关闭；
[0016]右二按键：用以控制是否开启电源，按下则开启，弹起则关闭；
[0017]右三按键：用以控制音量；
[0018]所述通讯模块，通过5G网络将所述系统与云服务器及其他无线设备连接，把所述视觉取样模块采集的图像上传到所述远程信息处理模块，经远程分析后传回并反馈给用户。
[0019]进一步地，所述本地图像识别模块中的轻量级卷积神经网络，包含通道数分别为8，16，32，64的4个卷积层和2个全连接层，其中，
[0020]最后一个全连接层作为输出层输出1000类物体分类向量；
[0021]当数据经过除全连接层之外的每个层的运算后，均使用标准化进行归一化处理，并采用ReLU激活函数添加非线性；
[0022]卷积层使用3*3的卷积核，通过给源图像或特征图设置padding补全保证每次卷积运算特征尺寸恒定，分别在通道数为16和32的卷积层后添加池化层；
[0023]模型训练阶段在服务器端进行，采用GPU硬件加速网络训练，利用本地采集的图像数据或Imagenet作为基准数据集完成训练和性能评测，将训练固定的模型参数用于本地图像识别。
[0024]进一步地，所述本地图像识别模块的具体处理过程为：
[0025]S1：将左边摄像头拍摄的图像输入训练好的轻量级卷积神经网络中完成障碍物及
交通信号的检测，得到当前时刻的障碍物信息及交通信息，输出障碍物信息及交通信息的类别、位置及框住目标的矩形框；
[0026]S2：将两边摄像头拍摄的图像，进行灰度化及滤波处理；
[0027]S3：利用SURF算法对步骤S2处理后的图像进行特征点提取与匹配，得到拍摄的图像正确的匹配点组合；
[0028]S4：计算对应匹配点X的坐标差，得到视差，编码成灰度图，得到视差图；
[0029]S5：结合步骤S1中网络输出的框住目标的矩形框位置，定位至视差图中的对应位置，计算出矩形框中匹配点的深度信息，也就是图像中目标的位置与拍摄位置即用户的距离，得到障碍物或交通灯目标与用户的实际距离；
[0030]S6：比较步骤S5中计算得到的深度信息与设定的安全距离，实现避障判断；
[0031]S7：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种导盲系统，在眼镜的两个镜片上分别安装性能和参数相同的高清摄像头形成双目摄像头，两个摄像头关于眼镜的中轴对称，两个摄像头以设置的固定频率采集使用者前方的环境图像，并压缩为jpeg格式，其特征在于，所述系统还包括视觉取样模块、语音交互模块、本地图像识别模块、远程信息处理模块、按键控制模块及通讯模块，其中，所述视觉取样模块，用户通过语音输入或按键控制选择对拍摄图像进行本地处理或远程处理，根据选择结果将拍摄的图像信息传送至所述本地图像识别模块或所述远程信息处理模块；所述语音交互模块与所述视觉取样模块相连，用于语音识别和语音合成，将用户的语音信息转化成系统指令下发，同时播报所述本地图像识别模块或所述远程信息处理模块传送的txt文本；用户的手机通过蓝牙连接所述导盲系统，能够通过选用的内置的语音合成芯片将文本信息转换成语音信息播放，以便及时获取信息；所述本地图像识别模块，以针对移动和嵌入式设备的轻量级卷积神经网络为框架，对所述视觉取样模块的图像信息进行特征提取与目标检测并结合双目深度估计原理完成距离定位，将检测结果生成txt文本，根据用户的选择传送至所述语音交互模块，如果检测到用户与障碍物的距离小于设定的安全距离，则直接传送至所述语音交互模块；所述远程信息处理模块，在远程计算机或云服务器上搭建软件平台，构建高精度深层卷积神经网络，用于实现比所述本地图像识别模块更详细的图像检测算法及优化语言处理，当用户选择采用所述远程信息处理模块进行目标检测时，能够检测出除避障必备的障碍信息及交通信息之外的其他信息，将检测结果生成txt文本，结合所述语音交互模块进行播报，实现具体画面描述；如果检测到用户与障碍物的距离小于设定的安全距离，则直接传送至所述语音交互模块；所述按键控制模块，在眼镜框的左右两侧分别设置3个按键，每个按键的按下与弹起分别对应相应的指令，实现命令的传输，其中，左一按键：用于控制是否播报所述本地图像识别模块或所述远程信息处理模块生成的txt文本，按下即选择播报txt文本，弹起则不播报；左二按键：用以控制是否系统自动更新，按下则选择是，弹起则选择否；左三按键：用以控制是否打开语音输入，按下则开启语音输入，弹起则关闭；右一按键：用以控制是否开启上网功能，按下则开启，弹起则关闭；右二按键：用以控制是否开启电源，按下则开启，弹起则关闭；右三按键：用以控制音量；所述通讯模块，通过5G网络将所述系统与云服务器及其他无线设备连接，把所述视觉取样模块采集的图像上传到所述远程信息处理模块，经远程分析后传回并反馈给用户。2.根据权利要求1所述的导盲系统，其特征在于，所述本地图像识别模块中的轻量级卷积神经网络，包含通道数分别为8，16，32，64的4个卷积层和2个全连接层，其中，最后一个全连接层作为输出层输出1000类物体分类向量；当数据经过除全连接层之外的每个层的运算后，均使用标准化进行归一化处理，并采用ReLU激活函数添加非线性；卷积层使用3*3的卷积核，通过给源图像或特征图设置padding补全保证每次卷积运算特征尺寸恒定，分别在通道数为16和32的卷积层后添加池化层；
模型训练阶段在服务器端进行，采用GPU硬件加速网络训练，利用本地采集的图像数据或Imagenet作为基准数据集完成训练和性能评测，将训练固定的模型参数用于本地图像识别。3.根据权利要求1或2所述的导盲系统，其特征在于，所述本地图像识别模块的具体处理过程为：S1：将左边摄像头拍摄的图像输入训练好的轻量级卷积神经网络中完成障碍物及交通信号的检测，得到当前时刻的障碍物信息及交通信息，输出障碍物信息及交通信息的类别、位置及框住目标的矩形框；S2：将两边摄像头拍摄的图像，进行灰度化及滤波处理；S3：利用SURF算法对步骤S2处理后的图像进行特征点提取与匹配，得到拍摄的图像正确的匹配点组合；S4：计算对应匹配点X的坐标差，得到视差，编码成灰度图，得到视差图；S5：结合步骤S1中网络输出的框住目标的矩形框位置，定位至视差图中的对应位置，计算出矩形框中匹配点的深度信息，也就是图像中目标的位置与拍摄位置即用户的距离，得到障...

【专利技术属性】
技术研发人员：程景春，宋佳洁，潘雄，张春熹，高爽，庞阳，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：