基于深度学习的场景文本识别方法技术

本发明专利技术公开了一种基于深度学习的场景文本识别方法，具体按照以下步骤实施：对需要进行场景文本识别的图像P进行处理，利用最大稳定极值区域算法MSER进行文本定位，得到候选文本区域S和该文本区域S的外接矩形G，并进行预处理，将经过预处理后的候选文本区域S输入到训练好的卷积深度置信网络模型中进行特征提取，得到特征矩阵A输入到一个线性的支持向量机中，对候选的文本区域S进行验证，进而过滤掉大量的非文本区域，得到文本区域S′，对其中的字符进行分类识别，然后得到最终的输出。解决了现有技术中存在的自然场景中的文本图像背景复杂、分辨率低和分布随意的问题。

【技术实现步骤摘要】
基于深度学习的场景文本识别方法
本专利技术属于计算机视觉识别
，尤其涉及一种基于深度学习的自然场景文本识别方法。
技术介绍
计算机视觉是人工智能和图像处理领域的一个重要交叉学科。早期的计算机视觉任务的解决方法主要含有两个步骤，一个是手动设计特征，另一个是构建一个浅层学习系统。随着人工智能的发展，深度学习于2006年正式提出。深度学习起源于多层人工神经网络，目前已成功应用于计算机视觉、自然语言处理和智能搜索等领域。当前已有的深度学习网络包括卷积神经网络、深度置信网和卷积深度置信网络等。卷积深度置信网络因结合了深度置信网络在图像高阶特征方面具有的良好性能和卷积神经网络对图像的位移、缩放及其他旋转等变化具有很好的适应性，已广泛应用于图像分类、语音识别和人脸识别等领域。文本识别技术在虚拟现实、人机交互、图像检索、无人驾驶、车牌识别、工业自动化等领域中有着广泛的应用。传统光字符检测技术(OCR)主要面向高质量的文档图像。此类技术假设输入图像背景干净、字体简单且文字排布整齐，在符合要求的情况下能够达到很高的识别水平。与文档文本识别不同，自然场景中的文本识别则面临着图像背景复杂、分辨率底下、本文档来自技高网...

【技术保护点】
1.一种基于深度学习的场景文本识别方法，其特征在于，具体按照以下步骤实施：步骤1，对需要进行场景文本识别的图像P进行处理，利用最大稳定极值区域算法MSER进行文本定位，得到候选文本区域S和该文本区域S的外接矩形G，步骤2，将步骤1处理得到的定位出的文本区域集合S进行预处理，步骤3，对卷积深度置信网络进行训练，步骤4，将经过步骤2预处理后的候选文本区域S输入到步骤3中得到的训练好的卷积深度置信网络模型中进行特征提取，从候选文本区域S中进行学习更多特征矩阵A，步骤5，将步骤4中学习到的特征矩阵A输入到一个线性的支持向量机中，对候选的文本区域S进行验证，进而过滤掉大量的非文本区域，得到文本区域S′，...

【技术特征摘要】
1.一种基于深度学习的场景文本识别方法，其特征在于，具体按照以下步骤实施：步骤1，对需要进行场景文本识别的图像P进行处理，利用最大稳定极值区域算法MSER进行文本定位，得到候选文本区域S和该文本区域S的外接矩形G，步骤2，将步骤1处理得到的定位出的文本区域集合S进行预处理，步骤3，对卷积深度置信网络进行训练，步骤4，将经过步骤2预处理后的候选文本区域S输入到步骤3中得到的训练好的卷积深度置信网络模型中进行特征提取，从候选文本区域S中进行学习更多特征矩阵A，步骤5，将步骤4中学习到的特征矩阵A输入到一个线性的支持向量机中，对候选的文本区域S进行验证，进而过滤掉大量的非文本区域，得到文本区域S′，步骤6，对步骤5中得到文本区域S′中的字符进行分类识别，步骤7，将步骤6.2中分类器输出的字符以及每个字符的出现的概率p，根据现有词典库、上下文、字符排布和每个字符最可能出现的概率p等信息对识别结果进行过滤和排序候选结果，得分最高的候选结果被作为最终的输出。2.根据权利要求1所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤1具体按照以下步骤实施：步骤1.1，利用实验效果最好的Canny算子作为边缘增强的方法，经过边缘增强的最大稳定极值区域能分割因模糊而相连的字符像素和分离字符连通区域中的孔洞，即可得到边缘增强处理的候选文本MSER区域图像Q，步骤1.2，对候选文本MSER区域图像Q，通过距离经过基于距离变换的改进笔画宽度变换法处理，可以得到各个候选文本MSER区域的笔画宽度映射图W，步骤1.3，利用开操作和闭操作将笔画宽度映射图W中各个候选文本MSER区域进行组合成连通区域，然后得到候选文本区域集合S和候选文本区域的外接矩形集合G。3.根据权利要求1所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤2具体按照以下步骤实施：步骤2.1，进行文本区域的裁剪分割，对最大稳定极值区域MSER提取的文本区域S进行裁剪分割，过滤掉一些很长很细的MSER区域，并得到标准图像块集合I，步骤2.2，利用开源标定软件LabelImg对步骤2.1.4中得到标准图像块集合I中的每个图像块的文本区域添加Groundtruth矩形框标签。4.根据权利要求3所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤2.1具体按照以下步骤实施：步骤2.1.1，通过对文本区域集合S进行连通分析，将得到文本区域集合S中的所有外接矩形G中，外接矩形的高度a与宽度b之比大于10或者小于0.1的文本区域S去除，得到高度a与宽度b之比在0.1到10这个范围的外接矩形G′，步骤2.1.2，根据先验知识对于任意两个符合长宽之比的外接矩形Gi′、Gj′的文本区域Si、Sj进行分析的，文本区域Si、Sj的外接矩形Gi′、Gj′相交的面积与外接矩形Gi′、Gj′相并的面积的比大于0.5时，则去掉文本区域Si，得到文本区域Sj，步骤2.1.3，外接矩形G′的宽度b′与高度a′之比大于1.5时，按照高度a′的长来重新划分宽度b′，得到宽度b′和高度a′比小于等于1.5的外接矩形G″，步骤2.1.4，将外接矩形G″对应的文本区域，裁剪分割成多个像素值为28×28的图像块I，这些分割后的图像块I构成标准图像块集合I。5.根据权利要求1所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤...

【专利技术属性】
技术研发人员：王林，张晓锋，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61