自然场景文字识别方法及装置制造方法及图纸

本申请公开了一种自然场景文字识别方法及装置。该方法包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。该装置包括：输入单元、确定单元、变换单元及识别单元。本申请解决了由于自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的技术问题。

【技术实现步骤摘要】
自然场景文字识别方法及装置
本申请涉及图像识别
，具体而言，涉及一种自然场景文字识别方法及装置。
技术介绍
在当前的科技发展潮流下，借助图像识别文字的技术较为常见。主要可以分为光学文字识别、自然场景中的文字识别等。光学文字识别(OCR)主要面向高清的文档图像，此类技术假设输入图像背景干净、字体简单且文字排布整齐。在符合此前提要求的情况下，训练好的网络模型能够达到很高的识别准确率，并且训练过程较快。自然场景中的文字识别(STR)主要面向包含文字的自然场景图像，此类技术假设图像背景复杂、字体多样、存在文字区域变形等情况。为了从此类图像中识别文字，当前流行使用基于深度学习网络的技术方法。为了保证所训练网络模型的健壮性，训练数据集中需要大量在各种拍摄角度下采集的变形文字图像，这就间接地导致图像标注工作量很大、并且网络模型训练周期很长。目前的自然场景文字识别方法中，通常涉及文字检测和文字识别两个模块。其中，文字检测模块负责在原始图像中找到文字区域，文字识别模块负责从文字区域中识别出文字序列。在某些文字识别方法中，还在文字检测和文字识别两个模块中间加入空间变换的模块，该模块负责将检测出的文本文档来自技高网...

【技术保护点】
1.一种自然场景文字识别方法，其特征在于，包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。

【技术特征摘要】
1.一种自然场景文字识别方法，其特征在于，包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。2.根据权利要求1所述的自然场景文字识别方法，其特征在于，将获取的自然场景图输入实例分割网络得到掩码图和像素图包括：获取自然场景图；实例分割网络检测得到读入的所述自然场景图的文本行实例的位置，并输出掩码图；根据所述文本行实例的位置计算出矩形边界框；裁减出所述矩形边界框作为所述像素图。3.根据权利要求1所述的自然场景文字识别方法，其特征在于，根据所述掩码图确定空间变换网络的控制参数包括：空间变换网络接收所述掩码图，并预测出文本行实例的关键点列表；根据关键点列表计算所述空间变换网络的控制参数。4.根据权利要求1所述的自然场景文字识别方法，其特征在于，将获取的自然场景图像输入实例分割网络得到掩码图和像素图之后还包括：判断是否处于网络模型的训练阶段；如果是，则所述实例分割网络接收实例分割标注；将所述实例分割标注结合所述掩码图计算出分割误差；通过所述分割误差在梯度反向传播过程中优化所述网络模型。5.根据权利要求1所述的自然场景文字识别方法，其特征在于，通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图之后还包括：判断是否处于网络模型的训练阶段；如果是，所述空间变换网络接收实例关键点标注；将所述实例关键点标注结合预测的关键点列表计算出关键点误差；通过所述关键点误差在梯度反向传播过程中优化所述网络模型。6.根据权利要求1所述的自然场景文字识别方法，其特征在于，采用文字识别网络识别出所述纠形图中的文字序列之后还包括：判断是否处...

【专利技术属性】
技术研发人员：鞠海玲，张默，
申请(专利权)人：北京陌上花科技有限公司，
类型：发明
国别省市：北京,11