一种图像中纸张矫正方法、系统及存储介质技术方案

本发明专利技术提供一种图像中纸张矫正方法、系统及存储介质，该方法包括：获取纸张图像，将纸张图像输入至训练好的关键点检测模型中，以输出纸张图像的中心区域热力图及边缘关键点回归图；基于所述中心区域热力图确定纸张图像中待矫正纸张的中心点位置坐标，将各边缘关键点回归图中与中心点位置对应的数值作为待矫正纸张的相应边缘关键点的坐标；获取纸张图像中的纸张尺寸，基于获取到的纸张尺寸构建纸张模板，基于确定的各边缘关键点的数量计算纸张模板上的与各边缘关键点对应的各目标关键点的坐标；基于边缘关键点的坐标和目标关键点的坐标对待矫正纸张进行矫正，以生成矫正后的纸张。该方法能够对纸张图像中存在的畸形纸张快速且准确的矫正。速且准确的矫正。速且准确的矫正。

【技术实现步骤摘要】
一种图像中纸张矫正方法、系统及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种图像中纸张矫正方法、系统及存储介质。

技术介绍

[0002]随着计算机视觉技术的发展，文字识别(OCR)技术在当今智能化办公中扮演着重要的角色。在处理票据表单等相关工作中，文字识别技术因其识别速度快、识别精度高、操作简单、能够大幅度的提高工作效率等特点而被广泛应用。对于纸张中文字识别，通常需要识别出文字所在区域的外接矩形；但是纸张的拍摄环境复杂，当前纸张中文字识别存在以下几个关键问题：(1)相机鱼眼畸变，大倾角带来的成像误差；(2)纸张折叠，纸张扭曲引入的畸变；(3)拍摄角度带来的畸变。
[0003]上述的具有成像误差或畸变的纸张其文字识别难度很大，特别的，当纸张存在折叠或者是拍摄过程中相机倾斜过大时，成像中的纸张发生了扭曲，则此时极大的降低了后续的文字识别的准确率。当前基于深度学习的文字识别算法只注重于文字的检测与文字的识别，没有考虑到纸张折叠和相机拍摄过程中引入的畸变带来的影响；当纸张存在折叠或拍摄角度不佳而存在畸变的情况下，现有的文字识别算法虽然可以非常准确的检测到畸变文字区域，但是将检测到的矩形区域送入到识别网络中时，由于识别区域存在扭曲情况会导致文字识别准确率低。因此，如何能够对纸张图像中存在的畸形纸张快速且准确的矫正，进而减小扭曲纸张中的文字识别错误率是亟待解决的技术问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种图像中纸张矫正方法、系统及存储介质，以解决现有技术中存在的一个或多个问题。
[0005]根据本专利技术的一个方面，本专利技术公开了一种图像中纸张矫正方法，所述方法包括：
[0006]获取纸张图像，将所述纸张图像输入至训练好的关键点检测模型中，以输出所述纸张图像的中心区域热力图及边缘关键点回归图；
[0007]基于所述中心区域热力图确定所述纸张图像中待矫正纸张的中心点位置坐标，将各所述边缘关键点回归图中与中心点位置对应的数值作为所述待矫正纸张的相应边缘关键点的坐标；
[0008]获取纸张图像中的纸张尺寸，基于获取到的所述纸张尺寸构建纸张模板，基于确定的各所述边缘关键点的数量计算所述纸张模板上的与各所述边缘关键点对应的各目标关键点的坐标；
[0009]基于所述边缘关键点的坐标和目标关键点的坐标对所述待矫正纸张进行矫正，以生成矫正后的纸张。
[0010]在本专利技术的一些实施例中，基于所述边缘关键点的坐标和目标关键点的坐标对所述待矫正纸张进行矫正，包括：
[0011]基于所述边缘关键点的坐标和所述目标关键点的坐标生成匹配点对；
[0012]将所述匹配点对输入至薄板样条插样算法中，得到所述边缘关键点的坐标和所述目标关键点的坐标之间的变换矩阵；
[0013]基于所述变换矩阵对所述待矫正纸张进行矫正。
[0014]在本专利技术的一些实施例中，所述关键点检测模型采用的算法为HourGlass算法或CornerNet算法。
[0015]在本专利技术的一些实施例中，在所述关键点检测模型采用的算法为HourGlass算法时，所述HourGlass算法包括中心区域回归分支和边缘关键点回归分支。
[0016]在本专利技术的一些实施例中，所述HourGlass算法的损失函数为：
[0017]Loss＝L
P
+α
×
L
C
；
[0018]其中，所述L
P
为所述中心区域热力图对应的损失，且所述L
P
采用Focal Loss损失函数计算得到；L
C
为所述边缘关键点回归图对应的损失，且所述L
P
采用Smooth L1损失函数计算得到；α为权重系数。
[0019]在本专利技术的一些实施例中，基于所述中心区域热力图确定所述纸张图像中待矫正纸张的中心点位置坐标，包括：
[0020]对所述中心区域热力图进行峰值提取；
[0021]将提取出的峰值对应的位置坐标作为所述待矫正纸张的中心点位置坐标。
[0022]在本专利技术的一些实施例中，所述纸张模板的形状为矩形；所述纸张模板的上边缘的目标关键点的坐标分别为：所述纸张模板的下边缘的目标关键点的坐标分别为：其中，W2为所述纸张模板的宽度，H2为所述纸张模板的高度，i为所述纸张模板的上边缘或下边缘的目标关键点的数量，k为所述边缘关键点的数量。
[0023]在本专利技术的一些实施例中，所述纸张模板的左边缘的目标关键点的坐标分别为：所述纸张模板的右边缘的目标关键点的坐标分别为：其中，W2为所述纸张模板的宽度，H2为所述纸张模板的高度，j为所述纸张模板的左边缘或右边缘的目标关键点的数量，k为所述边缘关键点的数量。
[0024]根据本专利技术的另一方面，还公开了一种图像中纸张矫正系统，该系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方法的步骤。
[0025]根据本专利技术的又一方面，还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上任一实施例所述方法的步骤
[0026]本专利技术实施例所公开的图像中纸张矫正方法、系统及存储介质，基于关键点检测模型确定纸张图像中的纸张的中心点位置坐标及边缘关键点的坐标，且进一步的基于新建
的纸张模板确定各边缘关键点对应的各目标关键点的坐标，并进一步基于确定的边缘关键点和目标关键点的坐标对待矫正纸张进行矫正，该矫正方法实现了对图像中的畸形纸张的自动及方便矫正，从而减小了后续文字识别的错误率；且该方法部署成本低，通用性强。
[0027]本专利技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本专利技术的实践而获知。本专利技术的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
[0028]本领域技术人员将会理解的是，能够用本专利技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本专利技术能够实现的上述和其他目的。
附图说明
[0029]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。附图中的部件不是成比例绘制的，而只是为了示出本专利技术的原理。为了便于示出和描述本专利技术的一些部分，附图中对应部分可能被放大，即，相对于依据本专利技术实际制造的示例性装置中的其它部件可能变得更大。在附图中：
[0030]图1为本专利技术一实施例的图像中纸张矫正方法的流程示意图。
[0031]图2为本专利技术另一实施例的图像中纸张矫正方法的流程示意图。
[0032]图3为本专利技术一实施例的图像中纸张矫正方法的结构原理图。
[0033]图4为待矫正的纸张图像示例图。
[0034本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像中纸张矫正方法，其特征在于，所述方法包括：获取纸张图像，将所述纸张图像输入至训练好的关键点检测模型中，以输出所述纸张图像的中心区域热力图及边缘关键点回归图；基于所述中心区域热力图确定所述纸张图像中待矫正纸张的中心点位置坐标，将各所述边缘关键点回归图中与中心点位置对应的数值作为所述待矫正纸张的相应边缘关键点的坐标；获取纸张图像中的纸张尺寸，基于获取到的所述纸张尺寸构建纸张模板，基于确定的各所述边缘关键点的数量计算所述纸张模板上的与各所述边缘关键点对应的各目标关键点的坐标；基于所述边缘关键点的坐标和目标关键点的坐标对所述待矫正纸张进行矫正，以生成矫正后的纸张。2.根据权利要求1所述的图像中纸张矫正方法，其特征在于，基于所述边缘关键点的坐标和目标关键点的坐标对所述待矫正纸张进行矫正，包括：基于所述边缘关键点的坐标和所述目标关键点的坐标生成匹配点对；将所述匹配点对输入至薄板样条插样算法中，得到所述边缘关键点的坐标和所述目标关键点的坐标之间的变换矩阵；基于所述变换矩阵对所述待矫正纸张进行矫正。3.根据权利要求1所述的图像中纸张矫正方法，其特征在于，所述关键点检测模型采用的算法为HourGlass算法或CornerNet算法。4.根据权利要求3所述的图像中纸张矫正方法，其特征在于，在所述关键点检测模型采用的算法为HourGlass算法时，所述HourGlass算法包括中心区域回归分支和边缘关键点回归分支。5.根据权利要求4所述的图像中纸张矫正方法，其特征在于，所述HourGlass算法的损失函数为：Loss＝L
P
+α
×
L
C
；其中，所述L
P
为所述中心区域热力图对应的损失，且所述L

【专利技术属性】
技术研发人员：熊永平，罗卫冬，张铮，伍贵宾，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：