一种基于全卷积网络的场景文本定位与识别方法技术

本发明专利技术公开一种基于全卷积网络的场景文本定位与识别方法，包括S1、获取包含数张已标记出文本位置的训练图片的训练集；S2、构建一个基于文本定位的全卷积神经网络模型，全卷积神经网络模型包括特征提取网络、特征融合网络和文本候选框筛选层，将训练集输入到基于文本定位的全卷积神经网络模型中进行训练，迭代模型参数后得到收敛的文本定位网络模型Model1等5个步骤，本发明专利技术克服了传统的文本检测与识别方法，利用深度学习的目标检测进行场景图像中的文本的实时定位，实现高精度和高效率的场景文本定位与识别方法。

【技术实现步骤摘要】
一种基于全卷积网络的场景文本定位与识别方法
本专利技术涉及文本定位与识别
，尤其涉及一种基于全卷积网络的场景文本定位与识别方法。
技术介绍
文本作为最具有表现力的信息表达方式，记录着人类多彩的科技文化，可作为交流信息嵌入到文档或场景中。场景图像中的文本可大致分为两类：人工文本和场景文本。随着互联网科技的发展，文本定位与识别技术已在生活中得到了广泛应用，如车牌识别、身份证识别等。传统的ORC识别技术只能用于识别背景单一、字体固定的印刷体，但是场景图像上的文本存在多样性，如排列不整齐、字体大小不统一，另外，因光照强度或拍照角度等因素导致字体模糊、残缺等问题对文本检测造成了强大的干扰，严重影响了文本检测的准确性，以使场景文本定位与识别是一项极其富有挑战性的任务。因此，为提升场景文本检测的准确性，我们提出了一种基于全卷积网络的场景文本定位与识别方法。
技术实现思路
针对上述问题，本专利技术提出一种基于全卷积网络的场景文本定位与识别方法，主要解决
技术介绍
中的问题。本专利技术提出一种全卷积网络的场景文本定位与识别方法，包括本文档来自技高网...

【技术保护点】
1.一种基于全卷积网络的场景文本定位与识别方法，其特征在于，包括以下步骤：/nS1、获取包含数张已标记出文本位置的训练图片的训练集；/nS2、构建一个基于文本定位的全卷积神经网络模型，所述全卷积神经网络模型包括特征提取网络、特征融合网络和文本候选框筛选层，将所述训练集输入到所述基于文本定位的全卷积神经网络模型中进行训练，迭代模型参数后得到收敛的文本定位网络模型Model1；/nS3、构建文本识别网络模型，所述文本识别网络中包括卷积神经网络层、注意力机制层、循环神经网络层和翻译层，将所述训练集输入到所述文本识别网络模型中进行训练，迭代模型参数后得到收敛的文本识别网络模型Model2；/nS4、将...

【技术特征摘要】
1.一种基于全卷积网络的场景文本定位与识别方法，其特征在于，包括以下步骤：
S1、获取包含数张已标记出文本位置的训练图片的训练集；
S2、构建一个基于文本定位的全卷积神经网络模型，所述全卷积神经网络模型包括特征提取网络、特征融合网络和文本候选框筛选层，将所述训练集输入到所述基于文本定位的全卷积神经网络模型中进行训练，迭代模型参数后得到收敛的文本定位网络模型Model1；
S3、构建文本识别网络模型，所述文本识别网络中包括卷积神经网络层、注意力机制层、循环神经网络层和翻译层，将所述训练集输入到所述文本识别网络模型中进行训练，迭代模型参数后得到收敛的文本识别网络模型Model2；
S4、将待文本定位与识别的场景图像输入到所述文本定位网络模型Model1中得到文本存在置信度及文本区域位置，经过筛选后处理输出最佳文本候选框；
S5、将含有最佳文本候选框的图像输入到所述文本识别网络模型Model2中，得到文本识别结果。


2.根据权利要求1所述的一种基于全卷积网络的场景文本定位与识别方法，其特征在于，所述特征提取网络由卷积层和池化层组成，用于提取出输入图像的卷积特征图；所述特征融合网络是将多特征预测层与不同阶段的特征层进行卷积，预测出文本存在置信度和文本区域位置；所述文本候选框筛选层作用是对不同文本区域候选框后处理，得到最佳文本候选框位置。


3.根据权利要求1-2所述的一种基于全卷积网络的场景文本定位与识别方法，其特征在于，所述步骤S2中基于文本定位的全卷积神经网络模型的构建过程为：
S21、通过特征提取网络提取多尺度特征；
S22、通过特征融合网络进行多尺度特征融合；
S23、通过文本候选框筛选输出含有最佳文本候选框的图像。


4.根据权利要求3所述的一种基于全卷积网络的场景文本定位与识别方法，其特征在于，所述步骤S23中每个所述文本候选框均有一个置信度得分，通过所述文本候选框处理移除非最佳候选框，最终筛选出最佳文本候选框的图像，其具体包括：
S231、将所有的文本候选框按照置信度得分从高到低排序，将得分最高的作为当前最佳候选框a，将剩余候选框依次作为后选最佳文本候选框b；
S232、计算后选出最佳文本候选框...

【专利技术属性】
技术研发人员：杨海东，黄坤山，巴姗姗，彭文瑜，林玉山，
申请(专利权)人：佛山市南海区广工大数控装备协同创新研究院，佛山市广工大数控装备技术发展有限公司，
类型：发明
国别省市：广东;44