一种基于嵌入双边卷积激活的场景文字识别方法技术

本发明专利技术实施例公开了一种基于嵌入双边卷积激活的场景文字识别方法，该方法包括：将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；利用所选择的卷积层，得到双边卷积激活图；利用双边卷积激活图对卷积激活描述子进行编码，得到训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；获取测试场景文字图像的特征向量，输入至场景文字识别分类模型得到场景文字识别结果。本发明专利技术利用双边卷积激活图进行特征向量表示，能够将重要的特征信息和笔画结构信息有效的结合在特征向量中，达到有效挖掘显著特征信息和笔画结构信息的目的，从而有效提高了场景文字识别的正确率。

A text recognition method based on embedded bilateral convolution activation

The embodiment of the invention discloses a scene text recognition method based on convolution embedding bilateral activation, the method includes: the convolution neural network training scene text image input to the pre trained, obtained by convolution convolution activation descriptor; layer selected, the bilateral convolution activation map using bilateral activation map of convolution; the activation descriptor for convolutional encoding, feature vectors are obtained by training scene text image, using the linear support vector machine was trained by scene text classification model; feature vector extraction test scene text images, input to the scene text classification model of scene text recognition results. The invention uses bilateral convolution activation map for feature vector representation, feature information and stroke can be the important structural information of effective combination of feature vectors, effectively mining significant feature information and stroke structure information, which can effectively improve the recognition accuracy of scene text.

【技术实现步骤摘要】
一种基于嵌入双边卷积激活的场景文字识别方法
本专利技术属于模式识别
，具体涉及一种基于嵌入双边卷积激活的场景文字识别方法。
技术介绍
场景文字识别在模式识别领域扮演着重要的角色，很多应用都需要借助场景文字识别来自动地理解场景中的文字。然而，场景文字识别仍然是一个非常具有挑战性的研究方向，因为场景文字受到很多外界因素的影响，比如：不均匀的光照、变形、任意的字体、失真、复杂的背景、模糊、噪声等等。近几十年来，场景文字识别受到广泛的关注，一些早期的方法利用光学字符识别技术来识别场景中的文字。光学字符识别技术依赖于场景文本二值化和成熟的光学字符识别引擎。其中，场景文本二值化是非常难以实现的。考虑到光学字符识别技术的局限性，Gao等人提出在传统的BoW(BagofWords，词包模型)的框架下创建空间嵌入词典，来获取场景文字图像的最终的特征表示。Newell等人利用多尺度的HOG(HistogramofOrientedGradients，梯度直方图)进行特征表示来识别自然场景中的文字。尽管他们的方法取得了一定的成效，但是他们的特征表示缺乏判别性。因此为了解决此问题，Perronnin等人提取使用GMM(GaussianMixtureModel，高斯混合模型)来学习码本，并将GMM的均值向量和协方差向量的导数连接起来得到最终的FV(Fishervectors)。与传统的BOW相比，FV对更高层次的信息进行编码，但是FV很容易在最终表示中引入噪声或者异常值。为此，Wang等人将卷积神经网络中的全连接层的输出作为最终的图像表示。Jaderberg等人同样将卷积神经网络中的全连接层的输出作为最终的图像表示，并得到较好的分类效果。Cimpoi和Babenko等人证明了使用卷积激活描述子来表示特征比使用全连接层的输出表示特征得到的分类准确率高。虽然这些方法取得了一定的成效，但是他们在一定程度上忽视了文字的重要特征信息和笔画结构信息。由于不同文字在不同的位置可能包含相同的特征信息，这会造成重构误差，所以不能够充分的保留重要的特征信息和有效的笔画结构信息。
技术实现思路
本专利技术的目的是要解决文字特征信息和笔画结构信息对场景文字识别结果影响较大的技术问题，为此，本专利技术提供一种基于嵌入双边卷积激活的场景文字识别方法。为了实现所述目的，本专利技术嵌入双边卷积激活的场景文字识别方法包括以下步骤：步骤S1，将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；步骤S2，利用所述训练场景文字图像输入至卷积神经网络中输出得到的卷积层，得到双边卷积激活图；步骤S3，利用所述双边卷积激活图对所述卷积激活描述子进行编码，得到所述训练场景文字图像的特征向量；步骤S4，基于所述训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；步骤S5，按照所述步骤S1-S3获取测试场景文字图像的特征向量，输入至所述场景文字识别分类模型得到场景文字识别结果。可选地，所述步骤S1包括：步骤S11，将所述训练场景文字图像的大小归一化为H×W，其中，H和W分别表示训练场景文字图像的高度和宽度；步骤S12，将所述训练场景文字图像输入至所述卷积神经网络中，选择所述卷积神经网络中的一个卷积层，得到卷积激活图HC×WC×N，其中，HC和WC分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目；步骤S13，从N个卷积激活图的相同位置处提取元素，得到HC×WC个N维的卷积激活描述子。可选地，所述步骤S2包括：步骤S21，获取所述卷积激活图HC×WC×N；步骤S22，将N个大小为HC×WC的卷积图的对应位置元素相加，得到卷积求和图；步骤S23，基于所述卷积求和图，得到双边卷积激活图。可选地，所述卷积求和图表示为：其中，Ci表示卷积求和图的第i个激活响应，表示卷积层中的第n个卷积图的第i个激活响应，N是该卷积层中卷积激活图的总数目。可选地，所述双边卷积激活图表示为：其中，i和j为表示卷积激活图中激活响应的索引，Oj表示双边卷积激活图，Bij为Ci的权重系数。可选地，所述权重系数Bij表示为：其中，Li和Lj分别是激活响应Ci和Cj对应的位置信息，α是一个用来调整空间相似度影响的参数，σ1是用来控制两个激活响应的差值对Bij影响的参数，σ2是用来控制两个激活响应的空间距离对Bij影响的参数。可选地，所述步骤S3包括：步骤S31，通过高斯混合模型对于所述卷积激活描述子进行编码，得到多个高斯成分的均值向量的梯度向量和多个高斯成分的协方差向量的梯度向量；步骤S32，将所有高斯成分的均值向量和协方差向量的梯度向量组合，得到每幅训练场景文字图像的特征向量。可选地，所述步骤S31中，利用下式对于所述卷积激活描述子进行编码：其中，xj表示从卷积图中提取得到的卷积激活描述子，M表示一幅场景文字图像中卷积激活描述子的总数目，wk，μk和σk分别表示高斯混合模型中第k个高斯分量的权重，均值向量和协方差向量，φj(k)表示卷积激活描述子xj分配到第k个高斯分量的权重，fμk表示第k个高斯成分的均值向量的梯度向量；fσk表示第k个高斯成分的协方差向量的梯度向量。可选地，每幅训练场景文字图像的特征向量表示为：F＝(fμ1,fσ1,fμ2,fσ2,...,fμk,fσk,...,fμK,fσK)，其中，K表示高斯混合模型中高斯分量的总数目，F表示所述训练场景文字图像最终的特征向量。本专利技术的有益效果为：本专利技术利用双边卷积激活图进行特征向量表示，能够将最重要的特征信息和笔画结构信息有效的结合在特征向量中，达到有效挖掘显著特征信息和笔画结构信息的目的，从而提高场景文字识别的正确率。需要说明的是，本专利技术得到了国家自然科学基金项目No.61501327、No.61401309、天津市自然科学基金项目No.17JCZDJC30600、No.15JCQNJC01700、国家模式识别实验室开放计划项目No.201700001的资助。附图说明图1是根据本专利技术一实施例的基于嵌入双边卷积激活的场景文字识别方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。图1是根据本专利技术一实施例的基于嵌入双边卷积激活的场景文字识别方法的流程图，下面以图1为例来说明本专利技术的一些具体实现流程。本专利技术的方法是关于一种基于嵌入双边卷积激活的场景文字识别方法，包括以下步骤：步骤S1，将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；其中，所述步骤S1包括以下步骤：步骤S11，将所述训练场景文字图像的大小归一化为H×W，其中，H和W分别表示训练场景文字图像的高度和宽度；步骤S12，将所述训练场景文字图像输入至所述卷积神经网络中，选择所述卷积神经网络中的一个卷积层，得到卷积激活图HC×WC×N，其中，HC和WC分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目；步骤S13，从N个卷积激活图的相同位置处提取元素，得到HC×WC个N维的卷积激活描述子。在本专利技术一实施例中，将本文档来自技高网...

【技术保护点】
一种基于嵌入双边卷积激活的场景文字识别方法，其特征在于，该方法包括以下步骤：步骤S1，将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；步骤S2，利用所述训练场景文字图像输入至卷积神经网络中输出得到的卷积层，得到双边卷积激活图；步骤S3，利用所述双边卷积激活图对所述卷积激活描述子进行编码，得到所述训练场景文字图像的特征向量；步骤S4，基于所述训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；步骤S5，按照所述步骤S1‑S3获取测试场景文字图像的特征向量，输入至所述场景文字识别分类模型得到场景文字识别结果。

【技术特征摘要】
1.一种基于嵌入双边卷积激活的场景文字识别方法，其特征在于，该方法包括以下步骤：步骤S1，将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；步骤S2，利用所述训练场景文字图像输入至卷积神经网络中输出得到的卷积层，得到双边卷积激活图；步骤S3，利用所述双边卷积激活图对所述卷积激活描述子进行编码，得到所述训练场景文字图像的特征向量；步骤S4，基于所述训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；步骤S5，按照所述步骤S1-S3获取测试场景文字图像的特征向量，输入至所述场景文字识别分类模型得到场景文字识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：步骤S11，将所述训练场景文字图像的大小归一化为H×W，其中，H和W分别表示训练场景文字图像的高度和宽度；步骤S12，将所述训练场景文字图像输入至所述卷积神经网络中，选择所述卷积神经网络中的一个卷积层，得到卷积激活图HC×WC×N，其中，HC和WC分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目；步骤S13，从N个卷积激活图的相同位置处提取元素，得到HC×WC个N维的卷积激活描述子。3.根据权利要求2所述的方法，其特征在于，所述步骤S2包括：步骤S21，获取所述卷积激活图HC×WC×N；步骤S22，将N个大小为HC×WC的卷积图的对应位置元素相加，得到卷积求和图；步骤S23，基于所述卷积求和图，得到双边卷积激活图。4.根据权利要求3所述的方法，其特征在于，所述卷积求和图表示为：其中，Ci表示卷积求和图的第i个激活响应，表示卷积层中的第n个卷积图的第i个激活响应，N是该卷积层中卷积激活图的总数目。5.根据权利要求4所述的方法，其特征在于，所述双边卷积激活图表示为：其中，i和j为表示卷积激活图中激活响应的索引，Oj表示双边卷积激活图，Bij为Ci的权重系数。6.根据权利要求5所述的方...

【专利技术属性】
技术研发人员：张重，王红，刘爽，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12