基于深度学习的印章识别方法、系统及存储介质技术方案

本发明专利技术公开了基于深度学习的印章识别方法、系统及存储介质，属于机器视觉技术领域，本发明专利技术要解决的技术问题为印章识别场景少、印章扇形文字矫正效果差及文字识别准确率低，技术方案为：获取待识别图像，使用目标检测模型检测待识别图像中印章，获取待识别图像中印章对应的坐标信息及印章类型；根据待识别图像中印章对应的坐标信息，裁剪出待识别印章图像；使用图像旋转角度分类模型识别待识别印章图像的旋转角度，根据旋转角度将待识别印章图像矫正；使用文字检测模型检测矫正后的待识别印章图像中的文字，获取文字的坐标信息，根据文字坐标信息裁剪处待识别文字图像；根据获得的印章类型，使用文字识别模型识别待识别文字图像获取印章识别结果。获取印章识别结果。获取印章识别结果。

【技术实现步骤摘要】
基于深度学习的印章识别方法、系统及存储介质


[0001]本专利技术涉及机器视觉
，具体地说是一种基于深度学习的印章识别方法、系统及存储介质。

技术介绍

[0002]目前对于政企事项中的合同、票据等文件的审核，由稽核人员通过人工审核的方式完成，审核内容主要涉及检查是否在合同中使用合同专用章，用章规范是否正确；印章主体文字是否与合同中企业名称保持一致；合同内容是否与审批一致等。现阶段政务服务审批系统无法自动验证合同专用章的信息以及规范性，无法准确定位印章的位置与类别信息。
[0003]针对政务服务审批等系统面临的问题，印章识别对于实现系统对印章核验环节的自动化与智能化，提高工作人员工作效率，降低审核时间，提升用户满意度具有重要意义。
[0004]目前现有方案大多针对圆形印章进行识别，场景大多为票据或者合同文件，存在识别场景少、文字识别准确率低等问题。对于印章中扇形文字一般采用直接使用文字识别模型识别或者先进行极坐标变换然后再使用文字识别模型识别的方案，但是针对椭圆印章进行极坐标变换效果一般，转换后的图像文字出现缺失、扭曲等现象，导致文字识别效果较差。

技术实现思路

[0005]本专利技术的技术任务是提供一种基于深度学习的印章识别方法、系统及存储介质，来解决印章识别场景少、印章扇形文字矫正效果差及文字识别准确率低的问题。
[0006]本专利技术的技术任务是按以下方式实现的，一种基于深度学习的印章识别方法，该方法具体如下：
[0007]获取待识别图像，使用目标检测模型检测待识别图像中印章，获取待识别图像中印章对应的坐标信息及印章类型；其中，待识别图像包括圆形印章、椭圆形印章、矩形印章及正方形印章；
[0008]根据待识别图像中印章对应的坐标信息，裁剪出待识别印章图像；
[0009]使用图像旋转角度分类模型识别待识别印章图像的旋转角度，根据旋转角度将待识别印章图像矫正；
[0010]使用文字检测模型检测矫正后的待识别印章图像中的文字，获取文字的坐标信息，根据文字坐标信息裁剪处待识别文字图像；
[0011]根据获得的印章类型，使用文字识别模型识别待识别文字图像获取印章识别结果。
[0012]作为优选，根据获得的印章类型，使用文字识别模型识别待识别文字图像获取印章识别结果具体如下：
[0013]判断印章类型是圆形或椭圆形印章还是矩形或正方形印章：
[0014]若是圆形或椭圆形印章，则判断待识别文字图像是否为扇形文字图像：
[0015]若是扇形文字图像，则对扇形文字图像进行矫正，具体为：
[0016]采用角点检测算法和薄板函数模型将扇形文字图像展平呈水平文字图像，再使用文字识别模型识别展平后的文字图像获得扇形文字图像中的文字内容；
[0017]若非扇形文字图像，则使用文字识别模型识别非扇形文字图像获得非扇形文字图像中的文字内容；
[0018]若是矩形或正方形印章，则直接使用文字识别模型识别文字图像的矩形或正方形印章中的文字内容。
[0019]更优地，所述角点检测算法具体如下：
[0020]选择包围扇形文字轮廓线上任意点的局部支撑区域，利用在局部支撑区域内近似角度计算方法计算轮廓线上每一点的尖锐度变量值，尖锐度变量值计算公式如下：
[0021][0022]其中，P
i
表示轮廓上的点；P
i
‑
k
表示P
i
的k个有序前点；P
i+k
表示P
i
的k个有序后点；尖锐度变量值越大，表明角度越尖锐；
[0023]根据尖锐度变量值选择候选角点，具体为：设定任一点的尖锐度变量值(sharp)大于阈值T时，标记为候选角点；
[0024]通过非极大抑制条件筛选出真正的角点，以便借助真正的角点使用薄板函数模型(Thin Plate Spline，TPS)将扇形文字展平：扇形文字轮廓的角点位于扇形文字的起始与结束位置的端点处，共计四个像素点，扇形文字起始位置与结束位置分别有两个角点。
[0025]更优地，薄板函数模型用于对图像进行几何纠正，能够对扇形弯曲文字进行矫正；具体如下：
[0026]基于角点检测算法获取到的四个角点，将原始扇形文字图片的角点与矫正后的扇形文字图像的端点建立映射关系，从文字起始左上角的角点按照顺时针方向四个角点的坐标依次为(x1，y1)、(x2，y2)、(x3，y3)及(x4，y4)，分别映射到0,0)、(w,0)、(w,h)及(0,h)；其中，w为文字矫正后的宽度；h为文字高度；
[0027]薄板函数模型(Thin Plate Spline，TPS)根据映射关系将原始扇形文字图像矫正成水平文字图像。
[0028]作为优选，待识别图像的场景包括票据、合同、证照及红头文件；
[0029]目标检测模型采用Faster R
‑
CNN、FPN、YOLOv5、SSD或RetinaNet；
[0030]文字检测模型采用PAN、PSENet或SPCNet；
[0031]文字识别模型采用Rosetta、CRNN、STAR
‑
Net或RARE；文字识别模型采用CRNN网络结构，包括，
[0032]卷积层，用于从输入图像中提取特征序列；
[0033]循环层，用于预测从卷积层获取的特征序列的标签分布；
[0034]转录层，用于把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。
[0035]更优地，目标检测模型采用YOLOv5，YOLOv5的组成具体如下：
[0036]①
、Backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；
[0037]②
、Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到输出层；
[0038]③
、Output：对图像特征进行预测，生成边界框与印章类别，其中边界框为印章在图像中的左上角与右下角x、y像素坐标，印章类别为圆形或椭圆形或矩形或正方形；
[0039]图像旋转角度分类模型采用VGGNet、ResNet或GoogLeNet，使用ResNet50网络判断印章的旋转角度时，旋转角度类别按照顺时针方向共划分为36种，每10度为一个类别，即0、10、20、30、40、50、60、70、80、90、100、110、120、130、140、150、160、170、180、190、200、210、220、230、240、250、260、270、280、290、300、310、320、330、340和350。
[0040]更优地，文字检测模型采用PAN，PAN是基于实例分割的文字检测算法，检测速度快而且精度高；PAN由Resnet18、特征金字塔增强模块(Feature Pyramid Enhance Module，PFEM)和特征融合模块(Feature Fusion Mo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的印章识别方法，其特征在于，该方法具体如下：获取待识别图像，使用目标检测模型检测待识别图像中印章，获取待识别图像中印章对应的坐标信息及印章类型；其中，待识别图像包括圆形印章、椭圆形印章、矩形印章及正方形印章；根据待识别图像中印章对应的坐标信息，裁剪出待识别印章图像；使用图像旋转角度分类模型识别待识别印章图像的旋转角度，根据旋转角度将待识别印章图像矫正；使用文字检测模型检测矫正后的待识别印章图像中的文字，获取文字的坐标信息，根据文字坐标信息裁剪处待识别文字图像；根据获得的印章类型，使用文字识别模型识别待识别文字图像获取印章识别结果。2.根据权利要求1所述的基于深度学习的印章识别方法，其特征在于，根据获得的印章类型，使用文字识别模型识别待识别文字图像获取印章识别结果具体如下：判断印章类型是圆形或椭圆形印章还是矩形或正方形印章：若是圆形或椭圆形印章，则判断待识别文字图像是否为扇形文字图像：若是扇形文字图像，则对扇形文字图像进行矫正，具体为：采用角点检测算法和薄板函数模型将扇形文字图像展平呈水平文字图像，再使用文字识别模型识别展平后的文字图像获得扇形文字图像中的文字内容；若非扇形文字图像，则使用文字识别模型识别非扇形文字图像获得非扇形文字图像中的文字内容；若是矩形或正方形印章，则直接使用文字识别模型识别文字图像的矩形或正方形印章中的文字内容。3.根据权利要求2所述的基于深度学习的印章识别方法，其特征在于，所述角点检测算法具体如下：选择包围扇形文字轮廓线上任意点的局部支撑区域，利用在局部支撑区域内近似角度计算方法计算轮廓线上每一点的尖锐度变量值，尖锐度变量值计算公式如下：其中，P
i
表示轮廓上的点；P
i
‑
k
表示P
i
的k个有序前点；P
i+k
表示P
i
的k个有序后点；尖锐度变量值越大，表明角度越尖锐；根据尖锐度变量值选择候选角点，具体为：设定任一点的尖锐度变量值大于阈值T时，标记为候选角点；通过非极大抑制条件筛选出真正的角点，以便借助真正的角点使用薄板函数模型将扇形文字展平：扇形文字轮廓的角点位于扇形文字的起始与结束位置的端点处，共计四个像素点，扇形文字起始位置与结束位置分别有两个角点。4.根据权利要求3所述的基于深度学习的印章识别方法，其特征在于，薄板函数模型用于对图像进行几何纠正，能够对扇形弯曲文字进行矫正；具体如下：基于角点检测算法获取到的四个角点，将原始扇形文字图片的角点与矫正后的扇形文字图像的端点建立映射关系，从文字起始左上角的角点按照顺时针方向四个角点的坐标依
次为(x1，y1)、(x2，y2)、(x3，y3)及(x4，y4)，分别映射到0,0)、(w,0)、(w,h)及(0,h)；其中，w为文字矫正后的宽度；h为文字高度；TPS根据映射关系将原始扇形文字图像矫正成水平文字图像。5.根据权利要求1所述的基于深度学习的印章识别方法，其特征在于，待识别图像的场景包括票据、合同、证照及红头文件；目标检测模型采用Faster R
‑
CNN、FPN、YOLOv5、SSD或RetinaNet；文字检测模型采用PAN、PSENet或SPCNet；文字识别模型采用Rosetta、CRNN、STAR
‑
Net或RARE；文字识别模型采用CRNN网...

【专利技术属性】
技术研发人员：吴运祥，马凤强，梁延灼，刘琛，安晓博，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：