一种智能导盲眼镜系统及其导盲方法技术方案

本发明专利技术提供一种智能导盲眼镜系统及其导盲方法，包括图像采集模块采集使用者周围的环境图像，并将获取的图像上传至中央控制模块，语音处理模块与中央控制模块相连，4G通信模块为眼镜端和负责识别测距的云服务器建立实时相互通信，并实现语音通话功能，中央控制模块对常见物体通过图像模板匹配和视差图进行识别与测距，如无法辨别，再利用4G通信模块发送至云服务器，云服务器通过在云服务器上搭建软件平台建立图像分析系统，利用深度学习神经网络，建立图像学习数据库，从上传的图像中获取障碍物距离与类别信息，并将信息反馈回中央控制模块。以解决现有智能导盲眼镜功能单一、智能水平较低的问题。本发明专利技术属于智能导盲领域。

【技术实现步骤摘要】

本专利技术涉及一智能导盲系统及方法方法，属于导盲领域。
技术介绍
中国是世界盲人最多的国家,约有1200万,占全世界盲人口的18％，作为社会群体中的特殊人群，他们终生生活在无边的黑暗中，因此常常会遇到各种难题，目前市场上的一些导盲用眼镜大多结构简单而功能单一(只能简单提示前方有障碍物)，虽然有些产品使用方便，但辅助效果并不明显，而且，盲人朋友在使用时会碰到诸多问题，比如路况不好，坑洼不平，前方有悬挂的障碍物等等，普通的眼镜无法准确的探明,亲属不容易寻找等问题,这些问题是无法解决的。目前现有导盲产品的障碍物探测功能，仅仅局限于利用超声波探测技术对障碍物的距离进行探测，不能对障碍物所在方位进行精确定位，并且只能对单一障碍物进行探测，如在多运动障碍物的探测中，仅仅能够探测到离使用者距离最近的障碍物，因此使得产品的导盲功能实用性大幅度降低。实际上关于智能导盲眼镜，在国际和国内都有团队和个人进行过研究，但都始终停留在性能检测与可行性论证阶段，至今并未对其进行产品的批量化生产，尤其是在国内，对智能导盲设备的研发更是刚刚处于起步阶段，距大规模产品化，商业化还有很长的一段距离。如今市场现有的普通拐眼镜的专利虽然有一些，但并没有统一的专业标准，尤其是专门为盲人朋友研究设计的多功能导盲眼镜的专利更是少之又少，而且大多数产品，在实际使用时有很多的缺陷和问题。目前，在市场上还没有一款实际应用的智能导盲眼镜，大多数还只是停留在研制或者试戴完善上，且功能单一、智能水平较低。谷歌公司于2012年发布了一款“拓展现实”眼镜，它具备和智能手机一样的功能，可以通过声音控制拍照，视频通话，以及网上冲浪、处理文字信息和电子邮件等，但这些功能也只是面向视觉健全人士开发设计的，这也是市场上唯一试发布的初级版本技术，其他的一些导盲眼镜产品都还停留在概念和研发中。所以，迫切需要一种专门为视觉障碍者研制开发的便捷、高效的智能导盲眼镜，及递进识别式方案的方位、测距和物体辨别功能，并且具有定位等一键式完成功能，能与后台云服务器进行时时交互的通信系统，也能为后期不断完善、功能扩展提供广阔的预留空间。
技术实现思路
本专利技术的目的在于：提供一种智能导盲眼镜系统及其导盲方法，以解决现有智能导盲眼镜功能单一、智能水平较低的问题。为解决上述问题，提供一种智能导盲眼镜系统，包括：图像采集模块，采集使用者周围的环境图像，并将获取的图像上传至中央控制模块；语音处理模块，与中央控制模块相连，用于使用者与各种功能模块间的人机交互；4G通信模块，为眼镜端和负责识别测距的云服务器建立实时相互通信，并实现语音通话功能；中央控制模块，对各功能单元所采集到的数据和信息进行汇总分析，并根据数据所反映的场景，对各个功能模块发出相应的控制指令；对常见物体通过图像模板匹配和视差图进行识别与测距；如无法辨别，再利用4G通信模块发送至云服务器；云服务器，通过在云服务器上搭建软件平台建立图像分析系统，利用深度学习神经网络，建立图像学习数据库，利用深度学习与双目测距算法，从上传的图像中获取障碍物距离与类别信息，并将信息反馈回中央控制模块；USB分流模块，用于将图像采集模块和卫星定位模块与中央控制模块相连，实现信息交互传输；卫星定位模块，与中央控制模块相连，用于卫星定位，4G通信模块还能将GPS获取的经纬度信息通过Internet发送至PC服务器端并接收服务器反馈信息；本专利技术还提供一种智能导盲眼镜导盲方法，包括：通过图像采集模块采集使用者周围的环境图像，获取的图像采用本地-服务器递进识别方案：先由中央控制模块对常见物体通过图像模板匹配和视差图进行识别与测距；如无法辨别，再利用4G通信模块的网络通信功能发送至云服务器，云服务器利用深度学习与双目测距等算法，从上传的图像中获取障碍物距离与类别信息，并将信息以文本格式发送回中央控制模块，再由语音处理模块将其转化成语音信息，通过耳机告知盲人。此外，当使用者急需告知亲友自己当前位置时，卫星定位模块会将使用者目前所在经纬度信息有服务器转换成位置信息，经4G通信模块以短信的方式发送至亲友手机，以便亲友寻人。所述本地-服务器递进识别方案，即首先在眼镜端中央控制模块上对一些常见障碍物的图片进行特征提取进行机器学习建立匹配模板分类数据库，识别测距功能开启后，中央控制模块先对预处理的图片解压缩，在图片中利用阈值选取方法对物体与背景进行分割，再用Boost方法对背景分割后的目标图像进行特征提取，获取到的目标特征通过SVM法与建立常见物体模板数据库进行匹配，从而获得常见物体的识别结果；若匹配结果相似度低于识别比例，中央控制模块会把预处理后的图像通过4G通信模块传送给云服务器进行识别，云服务器通过建立的深度学习训练过的数据库进行学习识别，根据最高的相似度得出辨别结果。本地识别、测距方式可以节省系统反应时间，服务器方式可以确保不常见物体的准确识别，两种方式的协调运行保证了图像物体识别的实时性、准确性与广泛性等。图像采集模块为模拟人眼的双目摄像头，经USB分流模块与中央控制模块相连，以模拟人类左右眼视觉成像的原理获取同一景物的两幅图像，获取到的两幅图片是由双目摄像头硬件压缩的jpeg格式，而后传输到中央控制模块，通过两个摄像头所获取的二维图像结合神经网络算法计算出景物的三维信息并提取图片中的主要信息，通过BM算法得出图像视差，它与人类的双眼视觉在原理上比较相像。由于双目摄像可以提供被观察物体的空间立体信息，因而在机器视觉领域有着广泛的应用。同时，双目摄像需进行的各种信号处理涉及了图像处理技术的各个方面，综合性很强。目前，常用的双目机器视觉系统基本上是采用两个视轴平行或固定角度的摄像机来完成图像的采集。这种方式具有结构简单、测量速度快、测量和匹配的精度高等优点。但系统在进行测量之前，需要对摄像机进行严格的参数标定。双目测距的基本原理如下：设定人体与物体之间的距离为Z，摄像头的焦距f，两个摄像头的镜头之间的距离为T，物体在两个传感器上所成像xl和xr的距离d，为变量，有：d＝xl-xr因此，已知d的值，即可根据相似三角形原理求出Z；在Opencv上实现双目测距，主要步骤为：①双目校正和标定，获得摄像头的参数矩阵，标定采用的是MATLAB标定工具；②立体匹配，获得视差图；③采用BM算法生成视差图，如果左右匹配点比较稠密，匹配点多，得到的图像与原图相似度高，如果匹配点比较稀疏，得到的点与原图相似度低；④得出测距；⑤把生成的视差图输入到reprojectImageTo3D()函数，生成3D点云，3D点云中保存有2D图像的三维坐标，再读出每帧图像的三维坐标中的z轴的值，就得出了距离数据；⑥结果分析。目标障碍物方位辨别：在Opencv环境下，通过阈值选取法得到去背景的目标图片，并对该图片整个区域建立坐标进行区域划分，划分为三个区域，分别为左前、前方、右前方；同时，在去除背景的目标图片基础上根据目标具体形状生成目标对应的轮廓框图，再根据该框图，利用几何原理计算出目标轮廓框图的几何中心点；中心点和区域划分完成后，根据目标轮廓中心点位于区域划分图中的具体区域来得出该目标当前相对于摄像头的具体方位。双目摄像头和卫星定位模块分别经USB分流模块与中央控制模块连接，USB分流模块为FE1.1s，FE1.本文档来自技高网...

【技术保护点】
一种智能导盲眼镜系统，其特征在于，包括：图像采集模块(1)，采集使用者周围的环境图像，并将获取的图像上传至中央控制模块(4)；语音处理模块(2)，与中央控制模块(4)相连，用于使用者与各种功能模块间的人机交互；4G通信模块(3)，为眼镜端和负责识别测距的云服务器(5)建立实时相互通信，并实现语音通话功能；中央控制模块(4)，对各功能单元所采集到的数据和信息进行汇总分析，并根据数据所反映的场景，对各个功能模块发出相应的控制指令；对常见物体通过图像模板匹配和视差图进行识别与测距；如无法辨别，再利用4G通信模块(3)发送至云服务器(5)；云服务器(5)，通过在云服务器上搭建软件平台建立图像分析系统，利用深度学习神经网络，建立图像学习数据库，利用深度学习与双目测距算法，从上传的图像中获取障碍物距离与类别信息，并将信息反馈回中央控制模块(4)；USB分流模块(6)，用于将图像采集模块(1)和卫星定位模块(4)与中央控制模块4相连，实现信息交互传输。

【技术特征摘要】
1.一种智能导盲眼镜系统，其特征在于，包括：图像采集模块(1)，采集使用者周围的环境图像，并将获取的图像上传至中央控制模块(4)；语音处理模块(2)，与中央控制模块(4)相连，用于使用者与各种功能模块间的人机交互；4G通信模块(3)，为眼镜端和负责识别测距的云服务器(5)建立实时相互通信，并实现语音通话功能；中央控制模块(4)，对各功能单元所采集到的数据和信息进行汇总分析，并根据数据所反映的场景，对各个功能模块发出相应的控制指令；对常见物体通过图像模板匹配和视差图进行识别与测距；如无法辨别，再利用4G通信模块(3)发送至云服务器(5)；云服务器(5)，通过在云服务器上搭建软件平台建立图像分析系统，利用深度学习神经网络，建立图像学习数据库，利用深度学习与双目测距算法，从上传的图像中获取障碍物距离与类别信息，并将信息反馈回中央控制模块(4)；USB分流模块(6)，用于将图像采集模块(1)和卫星定位模块(4)与中央控制模块4相连，实现信息交互传输。2.根据权利要求1所述一种智能导盲眼镜系统，其特征在于：还包括有卫星定位模块(7)，与中央控制模块(4)相连，用于卫星定位，4G通信模块(3)还能将GPS获取的经纬度信息通过Internet发送至PC服务器端并接收服务器反馈信息。3.一种智能导盲眼镜导盲方法，其特征在于，方法如下：通过图像采集模块(1)采集使用者周围的环境图像，获取的图像采用本地-服务器递进识别方案：先由中央控制模块(4)对常见物体通过图像模板匹配和视差图进行识别与测距；如无法辨别，再利用4G通信模块(3)的网络通信功能发送至云服务器(5)，云服务器(5)利用深度学习与双目测距等算法，从上传的图像中获取障碍物距离与类别信息，并将信息以文本格式发送回中央控制模块(4)，再由语音处理模块(2)将其转化成语音信息，通过耳机告知盲人。4.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：所述本地-服务器递进识别方案，即首先在眼镜端中央控制模块(4)上对一些常见障碍物的图片进行特征提取进行机器学习建立匹配模板分类数据库，识别测距功能开启后，中央控制模块(4)先对预处理的图片解压缩，在图片中利用阈值选取方法对物体与背景进行分割，再用Boost方法对背景分割后的目标图像进行特征提取，获取到的目标特征通过SVM法与建立常见物体模板数据库进行匹配，从而获得常见物体的识别结果；若匹配结果相似度低于识别比例，中央控制模块(4)会把预处理后的图像通过4G通信模块(3)传送给云服务器(5)进行识别，云服务器(5)通过建立的深度学习训练过的数据库进行学习识别，根据最高的相似度得出辨别结果。5.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：图像采集模块(1)为模拟人眼的双目摄像头，经USB分流模块(6)与中央控制模块(4)相连，以模拟人类左右眼视觉成像的原理获取同一景物的两幅图像，获取到的两幅图片是由双目摄像头硬件压缩的jpeg格式，而后传输到中央控制模块(4)，通过两个摄像头所获取的二维图像结合神经网络算法计算出景物的三维信息并提取图片中的主要信息，通过BM...

【专利技术属性】
技术研发人员：刘宇红，刘超，何腾鹏，周颖，房乐楠，王天伦，周奎，
申请(专利权)人：贵州大学，
类型：发明
国别省市：贵州;52