一种图片文本内容的提取方法技术

本发明专利技术提供了一种图片文本内容的提取方法

【技术实现步骤摘要】
一种图片文本内容的提取方法、系统及计算存储介质


[0001]本专利技术涉及图像处理术领域，尤其是涉及一种图片文本内容的提取方法
、
系统及计算存储介质
。

技术介绍

[0002]目前越来越多的行业领域都在推行“不见面办理”“网上办”“掌上办”等服务，在政务领域尤其常见
。
办理事项往往都涉及到办件图片的审核，审核的内容主要集中在图片上的文本内容，这个时候就需要按一定顺序读取图片上的文本内容并排序输出
。
现有技术中
OCR
识别
(Optical Character Recognition
，光学字符识别
)
只能做到将图片上的文本内容识别出来，并不能智能的进行排序，使得读取的文本内容顺序杂乱，在一些包含多材料的复杂办件图片上这种不合理情况尤其严重
。

技术实现思路

[0003]本专利技术提供了一种图片文本内容的提取方法，以解决现有技术中从包含多材料的复杂办件图片读取的文本内容顺序杂乱的技术问题
。
[0004]本专利技术的一个方面在于提供一种图片文本内容的提取方法，所述提取方法包括如下方法步骤：
[0005]S1、
对图片进行版面分割识别，获取所述图片上的每个图像区域的最小外接矩形；
[0006]S2、
利用每个图像区域的最小外接矩形，计算每个图像区域的第一旋转角，并通过透视变换的方式截取每个图像区域；
[0007]S3、
获取截取的每个图像区域的所有文本框，确定每个文本框的第二旋转角，并通过第二旋转角计算每个图像区域的第三旋转角；
[0008]对截取的每个图像区域按照第三旋转角进行不裁剪旋转摆正；
[0009]S4、
对旋转摆正的每个图像区域进行
OCR
识别，并对每个图像区域的每个文本框的文本内容进行第一次拼接；
[0010]S5、
计算图片的标准旋转角，对图片进行不裁剪旋转摆正；
[0011]S6、
对旋转摆正的图片的每个图像区域进行排序，按照排序对第一次拼接后的每个图像区域的文本内容进行第二次拼接；
[0012]S7、
输出第二次拼接后的文本内容
。
[0013]在一个优选的实施例中，在步骤
S1
中，通过训练一个版面分割识别模型，对图片进行版面分割识别，获取所述图片上的每个图像区域的最小外接矩形
。
[0014]在一个优选的实施例中，在步骤
S2
包括如下方法步骤：
[0015]S201、
确定每个图像区域的最小外接矩形的四个顶点的排序；
[0016]S202、
对每个图像区域的最小外接矩形建立直角坐标系，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置，以及每个图像区域的最小外接矩形的四个顶点的位置；
[0017]S203、
确定每个图像区域的最小外接矩形的第一旋转角；
[0018]S204、
以每个图像区域的最小外接矩形的第一顶点为中心，对每个图像区域按照第一旋转角逆时针旋转；
[0019]S205、
通过透视变换的方式截取旋转后的每个图像区域
。
[0020]在一个优选的实施例中，在步骤
S201
中，每个图像区域的最小外接矩形的四个顶点的排序，按照如下方法确定：
[0021]选取每个图像区域的最小外接矩形的四个顶点中的任意一个顶点作为预设的第一顶点；
[0022]计算预设的第一顶点与其他三个顶点的距离，以预设的第一顶点为起始点，按照顺时针规则或者左手定则确定其他三个顶点的序号
。
[0023]在一个优选的实施例中，在步骤
S202
中，按照如下方法，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置：
[0024]确定每个图像区域的最小外接矩形四条边中点的坐标；
[0025]将每个图像区域的最小外接矩形相对的两条边的中点连线；
[0026]在每个图像区域的最小外接矩形相对的两条边中，以坐标值小的中点指向坐标值大的中点，作为每个图像区域的最小外接矩形相对的两条边的中点连线的方向，形成两条有向线；
[0027]利用左手定则和两条有向线，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置
。
[0028]在一个优选的实施例中，在步骤
S203
中，每个图像区域的最小外接矩形的第一旋转角，通过如下方法确定：
[0029]以第一顶点为中心，将第一顶点和第二顶点的连线逆时针旋转至与直角坐标系的
X
轴重合，第一顶点和第二顶点的连线逆时针旋转的角度作为每个图像区域的最小外接矩形的第一旋转角
。
[0030]在一个优选的实施例中，在步骤
S205
中，当图像区域的面积小于图片面积的
1/20
，则该图像区域不截取
。
[0031]在一个优选的实施例中，在步骤
S3
中包括如下方法步骤：
[0032]S301、
获取截取的每个图像区域的所有文本框；
[0033]S302、
对截取的每个图像区域的所有文本框，通过透视变换的方式截取每个文本框，包括：
[0034]S3021、
确定每个文本框的四个文本框点的排序；
[0035]S3022、
对每个文本框建立直角坐标系，在每个文本框的四个文本框点中确定第一文本框点的位置，以及每个文本框的四个文本框点的位置；
[0036]S3023、
确定每个文本框的第二旋转角；
[0037]S3024、
以每个文本框的第一文本框点为中心，对每个文本框按照第二旋转角逆时针旋转；
[0038]S3025、
通过透视变换的方式截取旋转后的每个文本框；
[0039]S303、
利用二分类图像方向判断器，判断截取的每个文本框，根据判断结果，确定每个文本框的翻转角；
[0040]S304、
将第二旋转角和翻转角之和作为第三旋转角，对截取的每个图像区域按照第三旋转角进行不裁剪旋转摆正
。
[0041]在一个优选的实施例中，在步骤
S3021
中，每个文本框的四个文本框点的排序，按照如下方法确定：
[0042]选取每个文本框的四个文本框点中的任意一个文本框点作为预设的第一文本框点；
[0043]计算预设的文本框点与其他三个文本框点的距离，以预设的第一文本框点为起始点，按照顺时针规则或者左手定则确定其他三个文本框点的序号
。
[0044]在一个优选的实施例中，在步骤
S3022
中，按照如下方法，在每个文本框的四个文本框点中确定第一文本框点的位置：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图片文本内容的提取方法，其特征在于，所述提取方法包括如下方法步骤：
S1、
对图片进行版面分割识别，获取所述图片上的每个图像区域的最小外接矩形；
S2、
利用每个图像区域的最小外接矩形，计算每个图像区域的第一旋转角，并通过透视变换的方式截取每个图像区域；
S3、
获取截取的每个图像区域的所有文本框，确定每个文本框的第二旋转角，并通过第二旋转角计算每个图像区域的第三旋转角；对截取的每个图像区域按照第三旋转角进行不裁剪旋转摆正；
S4、
对旋转摆正的每个图像区域进行
OCR
识别，并对每个图像区域的每个文本框的文本内容进行第一次拼接；
S5、
计算图片的标准旋转角，对图片进行不裁剪旋转摆正；
S6、
对旋转摆正的图片的每个图像区域进行排序，按照排序对第一次拼接后的每个图像区域的文本内容进行第二次拼接；
S7、
输出第二次拼接后的文本内容
。2.
根据权利要求1所述的提取方法，其特征在于，在步骤
S2
包括如下方法步骤：
S201、
确定每个图像区域的最小外接矩形的四个顶点的排序，包括：每个图像区域的最小外接矩形的四个顶点的排序，按照如下方法确定：选取每个图像区域的最小外接矩形的四个顶点中的任意一个顶点作为预设的第一顶点；计算预设的第一顶点与其他三个顶点的距离，以预设的第一顶点为起始点，按照顺时针规则或者左手定则确定其他三个顶点的序号；
S202、
对每个图像区域的最小外接矩形建立直角坐标系，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置，以及每个图像区域的最小外接矩形的四个顶点的位置；其中，按照如下方法，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置：确定每个图像区域的最小外接矩形四条边中点的坐标；将每个图像区域的最小外接矩形相对的两条边的中点连线；在每个图像区域的最小外接矩形相对的两条边中，以坐标值小的中点指向坐标值大的中点，作为每个图像区域的最小外接矩形相对的两条边的中点连线的方向，形成两条有向线；利用左手定则和两条有向线，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置；
S203、
确定每个图像区域的最小外接矩形的第一旋转角，其中，每个图像区域的最小外接矩形的第一旋转角，通过如下方法确定：以第一顶点为中心，将第一顶点和第二顶点的连线逆时针旋转至与直角坐标系的
X
轴重合，第一顶点和第二顶点的连线逆时针旋转的角度作为每个图像区域的最小外接矩形的第一旋转角；
S204、
以每个图像区域的最小外接矩形的第一顶点为中心，对每个图像区域按照第一旋转角逆时针旋转；
S205、
通过透视变换的方式截取旋转后的每个图像区域
。3.
根据权利要求1所述的提取方法，其特征在于，在步骤
S3
中包括如下方法步骤：
S301、
获取截取的每个图像区域的所有文本框；
S302、
对截取的每个图像区域的所有文本框，通过透视变换的方式截取每个文本框，包括：
S3021、
确定每个文本框的四个文本框点的排序，其中，每个文本框的四个文本框点的排序，按照如下方法确定：选取每个文本框的四个文本框点中的任意一个文本框点作为预设的第一文本框点；计算预设的文本框点与其他三个文本框点的距离，以预设的第一文本框点为起始点，按照顺时针规则或者左手定则确定其他三个文本框点的序号；
S3022、
对每个文本框建立直角坐标系，在每个文本框的四个文本框点中确定第一文本框点的位置，以及每个文本框的四个文本框点的位置，其中，按照如下方法，在每个文本框的四个文本框点中确定第一文本框点的位置：确定每个文本框四条边中点的坐标；将每个文本框相对的两条边的中点连线；在每个文本框相对的两条边中，以坐标值小的中点指向坐标值大的中点，作为每个文本框相对的两条边的中点连线的方向，形成两条有向线；利用左手定则和两条有向...

【专利技术属性】
技术研发人员：郭大勇，张海龙，
申请(专利权)人：上海通办信息服务有限公司，
类型：发明
国别省市：