基于文字结构部件检测神经网络的文字检测方法及系统技术方案

本发明专利技术公开一种基于文字结构部件检测神经网络的文字检测方法及系统，所述方法在深度卷积神经网络中构建文字结构部件检测层，所述文字结构部件检测层对文字结构部件进行检测，从而实现文字区域定位和分割。在文字结构部件检测层中，构建是多个文字结构检测器，对某一类文字结构使用单独的文字结构检测器进行检测，提高了文字结构检测的准确性和独特性。本发明专利技术以文字结构部件检测的深度学习网络对文字结构特征的强提取能力为出发点，针对中文字结构特征做了专项检测，因此具有更高的主动性和精确性。

【技术实现步骤摘要】

本专利技术涉及一种图像处理
，具体地说，涉及的是一种在自然场景图像中基于文字结构部件检测的深度学习网络的文字检测方法及系统。
技术介绍
文本是计算机视觉的许多应用中的一项重要特征。图像中的文本存有很多有用的信息，对视觉内容理解和获取至关重要。文本提取的主要目的是将文本图像转化为符号形式，从而利于修改、检索、利用及传输。文本定位是文本提取的一个重要步骤。文本定位是对图像中文本位置的精确定位。基于极值连通域的文本定位方法首先将图像表示为一个个的连通域，然后从结构分析出发，通过合并方法将文本行标示，输出结果。传统的合并方法在处理一些结构复杂的汉字时效果不甚理想。外语如最常见的英语单词字符之间一般水平排列。对于中文文字，情况更加复杂。经检索，于慧敏和李天豪申请的公开号为104794504A、申请号为201510207913.5的专利技术专利申请，该专利技术公开了一种在自然场景图像中基于深度学习的文字检测方法。首先，通过图形图案文字样本合成训练深度卷积自编码网络，然后使用已标记的样本，通过稀疏字典进行分类。之后使用合成的样本集，建立深度卷积自编码网络，并使用分层训练、整体调优的方式学习特征模板；然后对已有的标记样本，使用深度网络学习得到的特征模板进行特征提取；最后把提取的特征上采样至原图大小，并以单个分块作为识别的单位，训练稀疏字典以及分类器。在完成训练步骤后，对待处理的图像进行多分辨率分解，并使用特征模板提取特征，再使用稀疏字典进行分类获取结果。该专利技术使用稀疏字典分类方法在复杂中文文字的检测上效果不佳，原因是此类文字出现概率小，字典中很难找到。
技术实现思路
本专利技术的目的在于针对目前图像文本定位上的定位不甚理想的情况，提出一种在自然场景图像中基于文字结构部件检测的深度学习网络的中文检测方法及系统，采用文字结构特征分类提取的方法，可以克服上述问题，提高识别效果。为实现上述目的，本专利技术采用以下技术方案：本专利技术在深度卷积神经网络中构建文字结构部件检测层，所述文字结构部件检测层对文字结构部件进行检测，从而实现文字区域定位和分割。本专利技术抓住深度学习网络对图像特征超强的提取能力，针对中文字中多种文字结构部件，构建了文字部件检测层，通过对文字结构部件的准确检测，从而实现文字区域定位和分割，方法简单有效。这种方法针对文字结构部件构建了文字部件检测深度卷积神经网络，在文字检测方面具有更好的针对性，因此具有更高的主动性和精确性。具体的：本专利技术提供一种基于文字结构部件检测神经网络的文字检测方法，包括以下步骤：S1，在深度卷积神经网络构建文字结构部件检测层，所述文字结构部件检测层由多个文字结构部件检测器组成，针对中文字包含的文字结构部件的种类，对每一种文字结构部件构建相应的文字结构部件检测器；S2，建立中文字数据集，包括从文字检测数据集中选出大量文字区域和非文字区域，用于训练深度学习网络；所述S1、S2没有先后顺序要求，S1、S2完成后进行训练得到训练后的深度卷积神经网络；S3，使用多尺度滑动窗算法提取自然图像中的候选文字区域，并由训练得到的深度卷积神经网络分类，得到文字区域；S4，分析文字区域之间的相关性，将相关文字区域聚合成文本行，并用矩形框对文本行加以标定。优选地，所述构建文字结构部件检测层，具体如下：S11，根据文字结构的长宽比，提取中文字中的文字结构种类；S12，对于每一种文字结构，构建与其长宽比相同的卷积窗大小的卷积网络，网络大小由该种文字结构占所有文字结构的比例确定，作为一个文字结构检测器；S13，将输入图像输入所有文字结构检测器，对所有种类的文字结构进行检测；S14，合并所有文字结构检测器的输出进行合并，即为文字结构检测层的输出。优选地，上述S2中，建立的中文字数据集特征如下：非文字区域图像中不包含任何文字；文字区域图像有两种类型：全文字图像和半文字图像；全文字图像中大部分区域为文字图像；半文字图像中小部分区域为文字图像数据集图像大小为32×32。优选地，上述S3中，使用多尺度滑动窗算法提取自然图像中的候选文字区域，其中提取参数如下：最大尺度为1/4图像大小，最小尺度为20像素；重叠系数为0.5滑动提取；提取出的图像块长宽比为1：1，并统一缩放为32×32的图像块。优选地，上述S4中，利用S3得到的文字区域，执行基于区域相关性的文本行聚合算法，具体相关性特征和聚合规则如下：两个文字区域的高度比值该在0.5和2之间；两个文字区域外接矩形的中心点y坐标差值不大于两个文字区域之间最高的高度值的1/2；两个文字区域的外接矩形的中心点x坐标差值不大于两个文字区域之间最宽的宽度值的2倍；单个文本行至少有三个或以上的文字区域。相关性为：两个文字区域的高度、两个文字区域外接矩形的中心点y坐标差、两个文字区域的外接矩形的中心点x坐标差聚合规则为：高度比值该在0.5和2之间、中心点y坐标差值不大于两个文字区域之间最高的高度值的1/2、中心点x坐标差值不大于两个文字区域之间最宽的宽度值的2倍。本专利技术还提供一种用于实现上述方法的基于文字结构部件检测神经网络的文字检测系统，包括：深度卷积神经网络模块，所述深度卷积神经网络模块中构建文字结构部件检测层，所述文字结构部件检测层对文字结构部件进行检测，从而实现文字区域定位和分割。优选地，所述文字结构部件检测层，由多个文字结构部件检测器组成，针对中文字包含的文字结构部件的种类，对每一种文字结构部件构建相应的文字结构部件检测器。优选地，所述文字检测系统进一步包括：中文字数据集，是从文字检测数据集中选出的大量文字区域和非文字区域，用于训练学习深度卷积神经网络模块。优选地，所述文字检测系统进一步包括：文字区域提模块，使用多尺度滑动窗算法提取自然图像中的候选文字区域，并由训练得到的深度卷积神经网络分类，得到文字区域；文字区域聚合模块，分析文字区域之间的相关性，将相关文字区域聚合成文本行，并用矩形框对文本行加以标定。与现有技术相比，本专利技术具有如下的有益效果：本专利技术在深度卷积神经网络构建文字结构部件检测层，然后采用多尺度滑动窗算法提取候选文字区域，最后训练得到的神经网络模型对候选文字区域进行分类并根据相关性进行文本行聚合得到文字区域。传统的文字区域分类方法在处理一些复杂背景中的文字时效果不甚理本文档来自技高网...

【技术保护点】
一种基于文字结构部件检测神经网络的文字检测方法，其特征在于：所述方法在深度卷积神经网络中构建文字结构部件检测层，所述文字结构部件检测层对文字结构部件进行检测，从而实现文字区域定位和分割。

【技术特征摘要】
1.一种基于文字结构部件检测神经网络的文字检测方法，其特征在于：所
述方法在深度卷积神经网络中构建文字结构部件检测层，所述文字结构部件检测
层对文字结构部件进行检测，从而实现文字区域定位和分割。
2.根据权利要求1所述的基于文字结构部件检测深度神经网络的文字检测
方法，其特征在于：包括以下步骤：
S1，在深度卷积神经网络构建文字结构部件检测层，所述文字结构部件检测
层由多个文字结构部件检测器组成，针对中文字包含的文字结构部件的种类，对
每一种文字结构部件构建相应的文字结构部件检测器；
S2，建立中文字数据集，包括从文字检测数据集中选出大量文字区域和非文
字区域，用于训练深度学习网络；
所述S1、S2没有先后顺序要求，S1、S2完成后进行训练得到训练后的深度
卷积神经网络；
S3，使用多尺度滑动窗算法提取自然图像中的候选文字区域，并由训练得到
的深度卷积神经网络分类，得到文字区域；
S4，分析文字区域之间的相关性，将相关文字区域聚合成文本行，并用矩形
框对文本行加以标定。
3.根据权利要求1或2所述的基于文字结构部件检测神经网络的文字检测
方法，其特征在于：所述构建文字结构部件检测层，具体如下：
S11，根据文字结构的长宽比，提取中文字中的文字结构种类；
S12，对于每一种文字结构，构建与其长宽比相同的卷积窗大小的卷积网络，
网络大小由该种文字结构占所有文字结构的比例确定，作为一个文字结构检测
器；
S13，将输入图像输入所有文字结构检测器，对所有种类的文字结构进行检
测；
S14，合并所有文字结构检测器的输出进行合并，即为文字结构检测层的输
出。
4.根据权利要求2所述的基于文字结构部件检测神经网络的文字检测方法，

\t其特征在于：所述S2中，建立的中文字数据集特征如下：
非文字区域图像中不包含任何文字；
文字区域图像有两种类型：全文字图像和半文字图像；
全文字图像中大部分区域为文字图像；
半文字图像中小部分区域为文字图像
数据集图像大小为32×32。
5.根据权利要求2所述的在基于文字结构部件检测神经网络的文字检测方
法，其特征在于，所述S3中，使用多尺度滑动窗算法提取自然图像中的候选文
字区域，其中提取参数如下：
最大尺度为1/4图像大...

【专利技术属性】
技术研发人员：周异，吴敏辰，陈凯，苗丽，奚国坚，周曲，任逍航，
申请(专利权)人：上海交通大学，中国太平洋保险集团股份有限公司，
类型：发明
国别省市：上海;31