图像处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，旨在降低文字识别结果的错误率。所述方法包括：对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。

Image processing method, device, electronic equipment and readable storage medium

【技术实现步骤摘要】
图像处理方法、装置、电子设备及可读存储介质
本申请实施例涉及数据处理
，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。
技术介绍
随着数据处理领域中图像处理技术的发展，越来越多的用户或企业开始借助图像处理技术对图像中的文字进行识别，旨在获得图像中的文字信息。以电商业务为例，商户将营业执照照片和身份证照片上传电商平台后，电商平台为了快速录入营业执照和身份证中的文字信息，通常借助现有的图像处理技术，对商户上传的照片进行文字识别，然后对识别出的文字信息进行人工核对和修正，最后将核对和修改后的文字信息保存，从而完成对营业执照和身份证中文字信息的录入。目前的图像处理技术在进行文字识别时，识别结果的错误率较高，为了更正错位结果，需要投入较大的人力对识别结果进行审核和修正。这不仅导致信息录入效率低，还增加了信息录入成本，因此目前的图像处理技术的实用性较低。
技术实现思路
本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质，旨在降低文字识别结果的错误率。本申请实施例第一方面提供了一种图像处理方法，所述方法包括：对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。本申请实施例第二方面提供一种图像处理装置，所述装置包括：目标区域检测模块，用于对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；待处理图像剪裁模块，用于根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；角点预测模块，用于对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；投影矫正模块，用于根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；文字识别模块，用于对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。采用本申请实施例提供的图像处理方法，通过对待处理图像中的文本图像进行区域检测，确定文本图像所在的目标区域。然后剪裁出该目标区域，得到包含文本图像的子图像，从而裁掉待处理图像中的部分干扰图像。再对所述子图像进行角点预测，得到文本图像的角点位置信息，从而更精确地确定出文本图像在子图像中的位置，进一步锁定识别区域。接着根据角点位置信息确定文本图像的矫正参数，从而对文本图像进行投影矫正，得到目标文本图像，使文本图像中产生形变和/或旋转的文字被矫正为水平的正常字形，有利于提高文字识别准确率。最后对目标文本图像进行文字识别，输出错误率较低的文字识别结果。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提出的模型训练的流程图；图2是本申请一实施例提出的样本图像的示意图；图3是本申请一实施例提出的确定第二标记的示意图；图4是本申请一实施例提出的图像处理方法的流程图；图5示出了待处理图像经过目标区域检测后的示意图；图6是本申请一实施例提出的目标区域扩展示意图；图7是本本申请一实施例提出的角点预测流程图；图8是本申请一实施例提出的文本图像投影矫正示意图；图9是本申请一实施例提出的确定目标角点位置的示意图；图10是本申请一实施例提供的图像处理装置的示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，均应属于本申请保护的范围。随着数据处理领域中图像处理技术的发展，越来越多的用户或企业开始借助图像处理技术对图像中的文字进行识别，旨在获得图像中的文字信息。目前的图像处理技术在进行文字识别时，识别结果的错误率较高，为了更正错位结果，需要投入较大的人力对识别结果进行审核和修正。这不仅导致信息录入效率低，还增加了信息录入成本，因此目前的图像处理技术的实用性较低。有鉴于此，本申请的至少一个实施例提出：通过对待处理图像中的文本图像进行区域检测，确定文本图像所在的目标区域。然后剪裁出该目标区域，得到包含文本图像的子图像，从而裁掉待处理图像中的部分干扰图像。再对所述子图像进行角点预测，得到文本图像的角点位置信息，从而更精确地确定出文本图像在子图像中的位置，进一步锁定识别区域。接着根据角点位置信息确定文本图像的矫正参数，从而对文本图像进行投影矫正，得到目标文本图像，使文本图像中产生形变和/或旋转的文字被矫正为水平的正常字形，有利于提高文字识别准确率。最后对目标文本图像进行文字识别，从而输出错误率较低的文字识别结果。为了更智能地实施本申请上述的实施例提出的上述方法，可以预先建立第一预设模型和第二预设模型，然后采集合适的训练样本对第一预设模型和第二预设模型进行训练，得到用于检测文本图像所在区域的目标检测模型，以及用于预测文本图像角点位置的角点预测模型。该目标检测模型和角点预测模型可作为一种可选手段，用于执行本申请提出的上述方法中的部分步骤。其中，第一预设模型的结构可选用现有检测模型的结构，如RPN(RegionProposalNetwork)、SSD(SingleShotMultiBoxDetector)、YOLO等网络结构。第二预设模型的结构可选用CNN卷积神经网络。参考图1，图1是本申请一实施例提出的模型训练的流程图。如图1所示，该训练流程包括以下步骤：步骤S11：获得多张包含文本图像的样本图像，每张所述样本图像携带第一标记，该第一标记表征该样本图像包含的所述文本图像的各角点的位置信息。本实施例中，文本图像是指包含文字的证件、执照、证书、票据、书籍等的图像。例如身份证、学生证、工作证、护照、驾照、营业执照、经营许可证、从业资格证、车票本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；/n根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；/n对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；/n根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；/n对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；
根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；
对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；
根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；
对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。


2.根据权利要求1所述的方法，根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像，包括：
对所述目标区域进行扩展，得到扩展后的目标区域；
以所述扩展后的目标区域为剪裁区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像。


3.根据权利要求1所述的方法，其特征在于，对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息，包括：
记录所述子图像的原始宽度和原始高度，并对所述子图像的图像尺寸进行标准化处理，得到标准化子图像，所述标准化子图像中包含标准化文本图像；
将所述标准化子图像输入角点预测模型，得到所述标准化文本图像的角点位置信息；
根据所述标准化文本图像的角点位置信息、以及所述子图像的原始宽度和原始高度，确定所述文本图像的角点位置信息。


4.根据权利要求1所述的方法，其特征在于，根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，包括：
根据所述文本图像的角点位置信息和针对所述文本图像的预设长宽比，确定目标文本图像的目标角点位置信息；
根据所述文本图像的角点位置信息和所述目标文本图像的目标角点位置信息，确定针对所述文本图像的矫正参数。


5.根据权利要求4所述的方法，其特征在于，根据所述文本图像的角点位置信息和针对所述文本图像的预设长宽比，确定目标文本图像的目标角点位置信息，包括：
根据所述文本图像的角点位置信息，确定所述文本图像各条边线的中点位置；
根据所述文本图像各条边的中点位置，确定所述文本图像的各条中线的长度，其中，每条中线是所述文本图像的两条相对边线的中点的连线；
根据各条中线的长度和针对所述文本图像的预设长宽比，确定目标文本图像的各条目标中线的长度；
根据所述各条目标中线的长度，确定所述目标文本图像的目标角点位置信息。


6.根据权利要求1至5任一所述的方法，其特征在于，在根据所述矫正参数对所述文本图像进行投影矫正之前，所述方法还包括：
根据所述文本图像的角点位置信息，确定剪裁边线；
沿所述剪裁边线对所述子图像进行剪裁，以裁掉所述子图像中围绕所述文本图像的干扰区域。


7.根据权利要求6所述的方法，其特征在于，在获得投影矫正后的目标文本图像之后，所述方法还包括：
确定所述目标文本图像是否存在缺失边角；
在所述目标文本图像存在缺失边角的情况下，对所述缺失边角所在区域进行填充，得到轮廓为矩形的目标文本图像。


8.根据权利要求1至5任一所述的方法，其特征在于，对待处理图像进行目标区域检测，得到所述待处理图像上的包含文本图像的目标区域，包括：
将所述待处理图像输入目标检测模型，并将所述目标检测模型输出的区域作为所述待处理图像上的包含文本图像的目标区域。

【专利技术属性】
技术研发人员：李楠，张睿，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11