一种基于OCR的智能盲人手杖及其图像识别方法技术

本发明专利技术公开了一种基于OCR技术的智能手杖及其图像识别方法，包括有杖头，杖头连接有杖体，杖头内部设有空腔，空腔内部设置有隔板，隔板一侧设置有嵌入式系统，隔板另一侧设置有电池，杖头的一端端部设置有前摄像头，前摄像头电性连接有前摄像头触发按钮，前摄像头触发按钮设置在杖头的侧壁，杖头的侧壁设置有副摄像头，副摄像头电性连接有副摄像头触发按钮。嵌入式系统中含有用于场景图像的文本定位算法，该算法首先对图像进行预处理。然后，利用MSER算法提取字符连通域并利用面积、长宽比、区域内边缘长度等特征进行过滤。接着，利用连通域的分布、形态以及DRLBP纹理特征对字符连通域进行合并；最后，得到文本行图像区域。

【技术实现步骤摘要】
一种基于OCR的智能盲人手杖及其图像识别方法
本专利技术属于盲人用具
，涉及一种基于OCR的智能盲人手杖，还涉及该手杖所使用的图像识别方法。
技术介绍
我国是拥有较多盲障人士的国家之一，盲人作为社会中的弱势群体，在生活中存在着诸多不便。目前已有不少用于辅助盲人工作生活的工具，其中盲人手杖是使用率较高的工具之一。随着科学技术的进步，尤其是计算机视觉、模式识别领域的快速发展，盲人智能手杖的出现将会给盲障人士带来更多的便利。盲障人士的主要障碍为无法看见周围环境，智能化手杖的主要实现途径之一是使用摄像机获取数字图像并以其他方式代替视觉使得盲人能够感知到周围环境，如语音等形式。如何对图像进行解读是该方法实施的关键。利用神经网络进行目标识别是图像解读的方法之一，将识别的结果通过语音的方式告知使用者，从而使得使用者得知周围环境。但这种方法存在神经网络模型难以训练，且需要设备拥有一定的计算能力，难以运用于实际场景。由于图像中的文字信息是图像中的高层语义，且目前社会中存在大量文字性的标语、提示。通过获取生活中的这些文字对其识别并语音播报给使用者，能够给使用者的生活带来极大的便利。
技术实现思路
本专利技术的第一个目的是提供一种基于OCR的智能盲人手杖，具有通过识别获取到的文字信息并把文字信息语音播报给使用者的特点。本专利技术的另一个目的是提供一种基于OCR的智能盲人手杖的图像识别方法，同样具有通过识别获取到的文字信息并把文字信息语音播报给使用者的特点。本专利技术所采用第一个的技术方案是，一种基于OCR的智能盲人手杖，包括有杖头，杖头连接有杖体，杖头内部设有空腔，空腔内部设置有隔板，隔板一侧设置有嵌入式系统，隔板另一侧设置有电池，杖头的一端端部设置有前摄像头，前摄像头电性连接有前摄像头触发按钮，前摄像头触发按钮设置在杖头的侧壁，杖头的另一端端部设置有充电口、开关按钮及扬声器，充电口电性连接电池，杖头的侧壁设置有副摄像头，副摄像头电性连接有副摄像头触发按钮，副摄像头触发按钮设置在杖头的侧壁且在副摄像头的相对面。本专利技术所采用另一个的技术方案是，一种基于OCR的智能盲人手杖的图像识别方法，具体包括以下步骤：步骤1：图像预处理；步骤2：字符连通区域提取；步骤3：邻近连通域计算；步骤4：文本行合并判断；步骤5：对所合并的文本连通区域进行纹理判断。步骤1具体按照以下步骤实施：本专利技术的特点还在于：嵌入式系统包括有嵌入式开发板，嵌入式开发板上设置有单片机与若干个接口，接口连接电池、前摄像头、前摄像头触发按钮、副摄像头、副摄像头触发按钮、开关按钮及扬声器，前摄像头与前摄像头触发按钮串联在前摄像头控制电路，副摄像头与副摄像头触发按钮串联在副摄像头控制电路，单片机、开关按钮及电池串联在主控制电路，前摄像头控制电路、副摄像头控制电路及扬声器并联接入主控制电路。杖体为多节伸缩杆，杖头与杖体连接处的侧壁设置有凸块，杖体设置有配合凸块工作的凹槽，凸块在凹槽内旋转，杖头往复旋转，手杖整体切换直线形和“T”形。步骤1具体按照以下步骤实施：步骤1.1、将前摄像头或副摄像头获得的图像I等比缩放到400,000像素大小，将缩放后的彩色图像进行灰度化，获得灰度图像G，缩放倍数z的计算公式如下：式中，Iw为图像I的宽，Ih为图像I的高；步骤1.2、对步骤1.1所得的灰度图G进行双边滤波，并对滤波后的图像计算对应的高反差保留图CG，高反差保留图CG的计算方法为灰度图G减去灰度图G的高斯模糊图，并将得到的结果线性映射到0到255之间，从而得到高反差保留图CG；步骤1.3、计算步骤1.2所得的高反差保留图CG的平均灰度值，并以此为阈值将对应的高反差保留图CG分为两部分，令像素灰度值大于等于阈值的像素灰度值全部等于阈值，并将图像线性映射到0到255之间得到灰度图LG；令像素灰度值小于阈值的像素灰度值全部等于阈值，并将图像线性映射到0到255之间得到灰度图HG。步骤2具体按照以下步骤实施：利用MSER算法从步骤1.3所得的灰度图LG、HG中提取候选字符连通域集合RS，RS包括有灰度图LG的候选字符连通域集合RSLG与灰度图HG的候选字符连通域集合RSHG，并利用连通区域R的面积RS、宽度Rw、高度RH、区域内边缘长度Rp、占用率Ko、高宽比Ka、紧密度Kc这七个特征来进行区域过滤；其中，RS是区域中的像素总量，Rw和RH是区域R的最小外接矩形的宽和高，Rp是用Canny算子提取区域中的边缘像素的总数量，Ko、Ka、Kc的计算公式如下：步骤3具体按照以下步骤实施：步骤3.1、在RS中选择某一尚未选择过的连通区域作为中心连通区域Rc∈RS，如果RS中所有的连通域均被选择过，那么将RS标记为已完成处理并转至步骤4，否则计算中心连通区域Rc的邻近连通区域集合Ra；邻近连通区域集合Ra计算方法如下：1)将RS中所有连通区域的最小外接矩形的顶点按x轴和y轴的大小进行排序，得到两个序列xSeq，ySeq；2)计算中心连通区域Rc的最小外接正矩形M，保持中心点坐标(xm，ym)不变将该矩形的高Mh、宽Mw各增加A一段像素宽度J，J为算法中视不同的场景图像而定的参数，所增加的像素宽度J即为邻近距离，所得矩形即为邻近范围矩形M’，矩形内的区域即为邻近范围；然后，计算出xSeq中，x坐标位于[xm-Mw/2-J，xm+Mw/2+J]范围内的坐标点集合Px，同样计算出ySeq中，y坐标位于[ym-Mh/2-J，ym+Mh/2+J]范围内的坐标点Py；最后，计算出Px，Py的并集，该并集中的点所属的连通区域即为邻近区域；步骤3.2、令RS等于RSLG，若RSLG已完成处理，则令RS等于RSHG，如果RSHG也已完成处理，那么转至步骤5。步骤4具体按照以下步骤实施：将中心连通区域Rc，和其相应的Ra中每一个邻近连通区域进行合并评估操作，合并评估操作的步骤如下：按照判断条件及判断判断标准中心连通区域R和其相应的Ra中每一个邻近连通区域是否能够合并；如果能够合并则进行合并，合并后RS中将减少2个旧的连通域并增加1个新合并的连通域，该步骤完成后返回第3步；合并评估操作判断条件如下：条件1：重叠率α，如果中心连通区域a与某一邻近候选区域b的重叠率大于某一阈值，那么这两个连通区域就可以直接合并；重叠率α的值为区域与区域交集部分的面积除以a、b中面积较小的面积，计算公式如下：条件2：位置比率β，位置比率β用于评估中心候选连通区域a与某一邻近连通区域b的相似性和邻近度，β的值为区域a和区域b的最小外接矩形Ea、Eb的面积除以包含Ea、Eb的最小外接矩形Eab的面积，若要使得区域a、b满足合并条件，则需要值β大于一定阈值，位置比率β的计算方法如下所示：条件3：方向，一个区域的方向为该区域最小外接矩形的较长边的方向，该方向的弧度值小于等于π，本文档来自技高网...

【技术保护点】
1.一种基于OCR的智能盲人手杖，包括有杖头(1)，所述杖头(1)连接有杖体(2)，其特征在于，所述杖头(1)内部设有空腔，空腔内部设置有隔板，隔板一侧设置有嵌入式系统(12)，隔板另一侧设置有电池(11)，杖头(1)的一端端部设置有前摄像头(10)，所述前摄像头(10)电性连接有前摄像头触发按钮(3)，所述前摄像头触发按钮(3)设置在杖头(1)的侧壁，杖头(1)的另一端端部设置有充电口(7)、开关按钮(8)及扬声器(9)，所述充电口(7)电性连接电池(11)，杖头(1)的侧壁设置有副摄像头(6)，所述副摄像头(6)电性连接有副摄像头触发按钮(4)，所述副摄像头触发按钮(4)设置在杖头(1)的侧壁且在副摄像头(6)的相对面。/n

【技术特征摘要】
1.一种基于OCR的智能盲人手杖，包括有杖头(1)，所述杖头(1)连接有杖体(2)，其特征在于，所述杖头(1)内部设有空腔，空腔内部设置有隔板，隔板一侧设置有嵌入式系统(12)，隔板另一侧设置有电池(11)，杖头(1)的一端端部设置有前摄像头(10)，所述前摄像头(10)电性连接有前摄像头触发按钮(3)，所述前摄像头触发按钮(3)设置在杖头(1)的侧壁，杖头(1)的另一端端部设置有充电口(7)、开关按钮(8)及扬声器(9)，所述充电口(7)电性连接电池(11)，杖头(1)的侧壁设置有副摄像头(6)，所述副摄像头(6)电性连接有副摄像头触发按钮(4)，所述副摄像头触发按钮(4)设置在杖头(1)的侧壁且在副摄像头(6)的相对面。


2.根据权利要求1所述的一种基于OCR的智能盲人手杖，其特征在于，所述嵌入式系统(12)包括有嵌入式开发板，所述嵌入式开发板上设置有单片机(12-1)与若干个接口，所述接口连接电池(11)、前摄像头(10)、前摄像头触发按钮(3)、副摄像头(6)、副摄像头触发按钮(4)、开关按钮(8)及扬声器(9)，前摄像头(10)与前摄像头触发按钮(3)串联在前摄像头控制电路，副摄像头(6)与副摄像头触发按钮(4)串联在副摄像头控制电路，单片机(12-1)、开关按钮(8)及电池(11)串联在主控制电路，所述前摄像头控制电路、副摄像头控制电路及扬声器并联接入主控制电路。


3.根据权利要求1所述的一种基于OCR的智能盲人手杖，其特征在于，所述杖体(2)为多节伸缩杆，杖头(1)与杖体(2)连接处的侧壁设置有凸块(5)，杖体(2)设置有配合凸块(5)工作的凹槽，凸块(5)在凹槽内旋转，杖头(1)往复旋转，手杖整体切换直线形和“T”形。


4.一种基于OCR的智能盲人手杖的图像识别方法，其特征在于，使用如权利要求1～3所述的一种基于OCR的智能盲人手杖，具体包括以下步骤：
步骤1：图像预处理；
步骤2：字符连通区域提取；
步骤3：邻近连通域计算；
步骤4：文本行合并判断；
步骤5：对所合并的文本连通区域进行纹理判断。


5.根据权利要求4所述一种基于OCR的智能盲人手杖的图像识别方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、将前摄像头或副摄像头获得的图像I等比缩放到400,000像素大小，将缩放后的彩色图像进行灰度化，获得灰度图像G，缩放倍数z的计算公式如下：



式中，Iw为图像I的宽，Ih为图像I的高；
步骤1.2、对步骤1.1所得的灰度图G进行双边滤波，并对滤波后的图像计算对应的高反差保留图CG，所述高反差保留图CG的计算方法为所述灰度图G减去灰度图G的高斯模糊图，并将得到的结果线性映射到0到255之间，从而得到高反差保留图CG；
步骤1.3、计算步骤1.2所得的高反差保留图CG的平均灰度值，并以此为阈值将对应的高反差保留图CG分为两部分，令像素灰度值大于等于阈值的像素灰度值全部等于阈值，并将图像线性映射到0到255之间得到灰度图LG；令像素灰度值小于阈值的像素灰度值全部等于阈值，并将图像线性映射到0到255之间得到灰度图HG。


6.根据权利要求5所述一种基于OCR的智能盲人手杖的图像识别方法，其特征在于，所述步骤2具体按照以下步骤实施：
利用MSER算法从步骤1.3所得的灰度图LG、HG中提取候选字符连通域集合RS，所述RS包括有灰度图LG的候选字符连通域集合RSLG与灰度图HG的候选字符连通域集合RSHG，并利用连通区域R的面积RS、宽度Rw、高度RH、区域内边缘长度Rp、占用率Ko、高宽比Ka、紧密度Kc这七个特征来进行区域过滤；
其中，RS是区域中的像素总量，Rw和RH是区域R的最小外接矩形的宽和高，Rp是用Canny算子提取区域中的边缘像素的总数量，Ko、Ka、Kc的计算公式如下：











7.根据权利要求6所述一种基于OCR的智能盲人手杖的图像识别方法，其特征在于，所述步骤3具体按照以下步骤实施：

【专利技术属性】
技术研发人员：贾小云，潘德燃，邵帆，王丽艳，杜晓旭，曾奇，
申请(专利权)人：陕西科技大学，
类型：发明
国别省市：陕西;61