一种用于视障人士自主出行的安全设备制造技术

本发明专利技术属于智能控制的技术领域，公开了一种用于视障人士自主出行的安全设备，包括控制器，所述控制器与视频采集模块、语音输入输出模块、定位模块、导盲模块、导航模块、图像处理模块相连，所述视频采集模块用于采集盲道上的视频信息，所述图像处理模块用于多视频信息进行处理，获取盲道的走向及其上的障碍物，所述定位模块用于实时获取视障人士的位置信息，所述导航模块用于根据视障人士的目的地，规划行走路径，所述语音输入输出模块用于采集视障人士的语音输入，根据导航模块规划的行走路径、图像处理模块获取盲道的走向及其上的障碍物，进行语音播报，所述导盲模块用于辅助视障人士行走，并对障碍物报警提醒。

【技术实现步骤摘要】
一种用于视障人士自主出行的安全设备
本专利技术涉及智能控制的
，尤其涉及一种用于视障人士自主出行的安全设备及进行盲道的走向及其上的障碍物判断的方法。
技术介绍
在中国，视障人群是一个很大的弱势群体。调查表明，中国现有视力残疾人数量达到1350万，其中550多万为盲人，占世界盲人总数的18％，同时，还有800多万的低视力者。视障人群数量庞大，但我国社会视障人士安全保障现状却仍存在很多问题亟待解决。国内外现存导盲辅具不多，且大多处在探索和实验室阶段，商业化的更是少之又少，在与盲人朋友的交流中我们得知，盲人群体中并没有广泛使用的导盲辅具。微软、谷歌等公司也开发了一系列基于穿戴式的导盲仪，穿戴形式包括头戴、手环、衣服及鞋垫等，交互手段包括震动、声音、图像(用于弱视人群)等，技术多样，应用灵活，但以上方案均处于试验阶段，且信息多基于超声波、光学等单一手段，在场景构建准确性上不足，应用环境受限，使用成熟度较差，现阶段难以满足盲人自主出行导盲需求。市场调研中我们发现，现有导盲辅具在及时性、准确性、稳定性、普适性等多方面存在问题，存在传感技术落后，欠智能化且人机交互困难的通病，并没有大面积推广，同时也存在成本高昂，定价过高的情况。另一方面，企业缺乏与盲人使用者的深入沟通了解，对用户体验和需求把握有偏差，且收集用户意见反馈环节较为薄弱，研发的产品存在标志性过强、操作复杂、可靠性低等弊端，甚至引发了盲人群体的抵触情绪。
技术实现思路
本专利技术提供了一种用于视障人士自主出行的安全设备及进行盲道的走向及其上的障碍物判断的方法，解决了现有出行安全保障系统缺乏、视障人士出行困难等问题。本专利技术可通过以下技术方案实现：一种用于视障人士自主出行的安全设备，包括控制器，所述控制器与视频采集模块、语音输入输出模块、定位模块、导盲模块、导航模块、图像处理模块相连，所述视频采集模块用于采集盲道上的视频信息，所述图像处理模块用于多视频信息进行处理，获取盲道的走向及其上的障碍物，所述定位模块用于实时获取视障人士的位置信息，所述导航模块用于根据视障人士的目的地，规划行走路径，所述语音输入输出模块用于采集视障人士的语音输入，根据导航模块规划的行走路径、图像处理模块获取盲道的走向及其上的障碍物，进行语音播报，所述导盲模块用于辅助视障人士行走，并对障碍物报警提醒。进一步，所述图像处理模块包括盲道识别模块、走向获取模块和障碍物识别模块，所述盲道识别模块用于接收所述视频信息，利用RGB-HSV阈值判别式将其对应的每帧图像进行盲道分割，利用形态学开运算对分割出的多个盲道区域进行去噪，获得多个伪盲道区域，利用盲道的纹理特征对多个伪盲道区域进行判断，从中找出真盲道区域；所述走向获取模块用于根据真盲道区域的四个顶点，通过走向判别式，判断真盲道区域的转弯方向；所述障碍物识别模块用于在真盲道区域内选取最大内接矩形，利用一维数组和行变量对最大内接矩形逐行进行遍历，根据遍历结果判断前方是否有障碍物。进一步，四个所述顶点包括左上顶点lefttop、右上顶点righttop、左下顶点leftdown、右下顶点rightdown，所述转弯方向包括左转方向、右转方向、向左侧偏离走向、向右侧偏离走向。进一步，所述控制器通过websocket协议和stomp子协议实现与远程控制平台通讯，通过无线通讯模块与视频采集模块、导盲模块相连，所述远程控制平台用于显示视障人士实时的路径信息和位置信息，所述视频采集模块设置为装载有摄像头的眼镜，所述导盲模块设置为装载有振动器的导盲手杖。一种基于上文所述的用于视障人士自主出行的安全设备进行盲道的走向及其上的障碍物判断的方法，包括以下步骤：步骤一、利用RGB-HSV阈值判别式对所述视频信息中的每帧图像进行盲道分割，获得多个伪盲道区域，利用盲道的纹理特征对多个伪盲道区域进行判断，从中找出真盲道区域；步骤二、根据真盲道区域的四个顶点，通过走向判别式，判断真盲道区域的转弯方向；步骤三、在真盲道区域内选取最大内接矩形，利用一维数组和行变量对最大内接矩形逐行进行遍历，根据遍历结果判断前方是否有障碍物。进一步，获取真盲道区域的方法包括以下步骤：步骤①、根据盲道的颜色特征，利用如下所示的RGB-HSV阈值判别式，将所述视频信息中的每帧图像由RGB颜色空间格式转换为HSV颜色空间格式，识别出其中的所有盲道成分，分割出多个盲道区域；其中，r、g、b分别表示原始图像的RGB色彩空间的参数，其取值范围为0～255；h1、h2分别表示HSV色彩空间中H分量的阈值下、上限；s1、s2分别表示HSV色彩空间中S分量的阈值下、上限；v1、v2分别表示HSV色彩空间中v分量的阈值下、上限；max、min分别表示R、G、B三值的最大值与最小值；步骤②、利用形态学开运算对分割出的多个盲道区域先进行边缘复制填充，再进行三次膨胀、两次腐蚀，完成去噪，获得多个伪盲道区域；步骤③、利用边缘检测算法对多个伪盲道区域进行边缘检测，再利用霍夫直线检测算法进行直线检测，找出其中的所有直线，根据直线的斜率判断各个直线之间的平行和垂直关系，进而找出真盲道区域。进一步，若所述伪盲道区域内有不少于70％的直线关系是平行或者垂直，则判断所述伪盲道区域为真盲道区域。进一步，判断真盲道区域的转弯方向的方法包括以下步骤：步骤Ⅰ、以真盲道区域内部的每个像素点为公共端点，作对称的左框和右框，对其内的每个像素点进行遍历，根据右框与左框内部的盲道成分的数量之差，进行左上顶点lefttop、右上顶点righttop、左下顶点leftdown、右下顶点rightdown的判断；步骤Ⅱ、利用如下方程式进行转弯方向判断，若满足式(1)(2)，则具有左转方向；若满足(1)(3)，则具有右转方向；若不满足(1)，但满足(4)，则具有向左侧偏离走向；若不满足(1)，但满足(5)，则具有向右侧偏离走向，righttop.x-lefttop.x>＝2*(rightdown.x-leftdown.x)(1)leftdown.x-lefttop.x>rightdown.x-leftdown.x(2)righttop.x-rightdown.x>rightdown.x-leftdown.x(3)(rightdown.x+leftdown.x)/2<leftThreshold.x(4)(rightdown.x+leftdown.x)/2<rightThreshold.x(5)其中，lefttop.x、righttop.x、leftdown.x、rightdown.x分别表示左上顶点lefttop、右上顶点righttop、左下顶点leftdown、右下顶点rightdown的横坐标，leftThreshold.x、rightThreshold.x分别表示左侧偏离、右侧偏离的阈值。进一步，从左到右，从上而下对真盲道区域本文档来自技高网...

【技术保护点】
1.一种用于视障人士自主出行的安全设备，其特征在于：包括控制器，所述控制器与视频采集模块、语音输入输出模块、定位模块、导盲模块、导航模块、图像处理模块相连，/n所述视频采集模块用于采集盲道上的视频信息，所述图像处理模块用于多视频信息进行处理，获取盲道的走向及其上的障碍物，所述定位模块用于实时获取视障人士的位置信息，所述导航模块用于根据视障人士的目的地，规划行走路径，所述语音输入输出模块用于采集视障人士的语音输入，根据导航模块规划的行走路径、图像处理模块获取盲道的走向及其上的障碍物，进行语音播报，所述导盲模块用于辅助视障人士行走，并对障碍物报警提醒。/n

【技术特征摘要】
1.一种用于视障人士自主出行的安全设备，其特征在于：包括控制器，所述控制器与视频采集模块、语音输入输出模块、定位模块、导盲模块、导航模块、图像处理模块相连，
所述视频采集模块用于采集盲道上的视频信息，所述图像处理模块用于多视频信息进行处理，获取盲道的走向及其上的障碍物，所述定位模块用于实时获取视障人士的位置信息，所述导航模块用于根据视障人士的目的地，规划行走路径，所述语音输入输出模块用于采集视障人士的语音输入，根据导航模块规划的行走路径、图像处理模块获取盲道的走向及其上的障碍物，进行语音播报，所述导盲模块用于辅助视障人士行走，并对障碍物报警提醒。


2.根据权利要求1所述的用于视障人士自主出行的安全设备，其特征在于：所述图像处理模块包括盲道识别模块、走向获取模块和障碍物识别模块，所述盲道识别模块用于接收所述视频信息，利用RGB-HSV阈值判别式将其对应的每帧图像进行盲道分割，利用形态学开运算对分割出的多个盲道区域进行去噪，获得多个伪盲道区域，利用盲道的纹理特征对多个伪盲道区域进行判断，从中找出真盲道区域；所述走向获取模块用于根据真盲道区域的四个顶点，通过走向判别式，判断真盲道区域的转弯方向；所述障碍物识别模块用于在真盲道区域内选取最大内接矩形，利用一维数组和行变量对最大内接矩形逐行进行遍历，根据遍历结果判断前方是否有障碍物。


3.根据权利要求2所述的用于视障人士自主出行的安全设备，其特征在于：四个所述顶点包括左上顶点lefttop、右上顶点righttop、左下顶点leftdown、右下顶点rightdown，所述转弯方向包括左转方向、右转方向、向左侧偏离走向、向右侧偏离走向。


4.根据权利要求1所述的用于视障人士自主出行的安全设备，其特征在于：所述控制器通过websocket协议和stomp子协议实现与远程控制平台通讯，通过无线通讯模块与视频采集模块、导盲模块相连，所述远程控制平台用于显示视障人士实时的路径信息和位置信息，所述视频采集模块设置为装载有摄像头的眼镜，所述导盲模块设置为装载有振动器的导盲手杖。


5.一种基于权利要求1所述的用于视障人士自主出行的安全设备进行盲道的走向及其上的障碍物判断的方法，其特征在于包括以下步骤：
步骤一、利用RGB-HSV阈值判别式对所述视频信息中的每帧图像进行盲道分割，获得多个伪盲道区域，利用盲道的纹理特征对多个伪盲道区域进行判断，从中找出真盲道区域；
步骤二、根据真盲道区域的四个顶点，通过走向判别式，判断真盲道区域的转弯方向；
步骤三、在真盲道区域内选取最大内接矩形，利用一维数组和行变量对最大内接矩形逐行进行遍历，根据遍历结果判断前方是否有障碍物。


6.根据权利要求5所述的用于视障人士自主出行的安全设备进行盲道的走向及其上的障碍物判断的方法，其特征在于获取真盲道区域的方法包括以下步骤：
步骤①、根据盲道的颜色特征，利用如下所示的RGB-HSV阈值判别式，将所述视频信息中的每帧图像由RGB颜色空间格式转换为HSV颜色空间格式，识别出其中的所有盲道成分，分割出多个盲道区域；



其中，r、g、b分别表示原始图像的RGB色彩空间的参数，其取值范围为0～255；h1、h2分别表示HSV色彩空间中H分量的阈值下、上限；s1、s2分别表示HSV色彩空间中S分量的阈值下、上限；v1、v2分别表示HSV色彩空间中v分量的阈值下、上限；max、min分别表示R、G、B三值的最大值与最小值；
步骤②、利用形态学开运算对分割出的多个盲道区域先进行边缘复制填充，再进行三次膨胀、两次腐蚀，完成去噪，获得多个伪盲道区域；
步骤③、利用边缘检测算法对多个伪盲道区域进行边缘检测，再利用霍夫直线检测算法进行直线检测，找出其中的所有直线，根据直线的斜率判断各个直线之间的平行和垂直关系，进而找出真盲道区域。


7.根据权利要求6所述的障人士的安全出行设备进行盲道的走向及其上的障碍物判断的方法，其特征在于：若所述伪盲道区域内有不少于70％的直线关系是平行或者垂直，则判断所述伪盲道区域为真盲道区域。


8.根据权利要求5所述的障人士的安全出行设备进行盲道的走向及其上的障碍物判断的方法，其特征在于判断真盲道区域的转弯方向的方法包括以下步骤：
步骤...

【专利技术属性】
技术研发人员：高天维，孙鑫宇，储辉，杨天歌，洪丽明，
申请(专利权)人：上海卓希智能科技有限公司，
类型：发明
国别省市：上海;31