一种端到端的图章识别方法及系统技术方案

本发明专利技术公开了一种端到端的图章识别方法及系统，属于图像处理领域。该方法包括：输入原始图章图像，并提取原始图章图像的卷积网络特征图；基于卷积网络特征图，通过文本框定位网络定位原始图章图像中的文本框；通过卷积网络特征图和文本框的位置，获取文本框包含文字特征对应的文字编码，得到文本信息；通过卷积网络特征图和文本框的位置获取图网络特征，并通过图网络特征推理得到各文本框之间的关联关系；根据关联关系合并文本框以及文本信息，得到每一个关联的文本行几何信息以及相应的文本行信息，并输出结果。本发明专利技术可以处理所有可能的不规则的图章，在一个训练环节完成整个图章识别的所有步骤，真正做到自动化学习。

【技术实现步骤摘要】
一种端到端的图章识别方法及系统
本专利技术涉及图像处理领域，尤其是一种端到端的图章识别方法及系统。
技术介绍
在企业事业单位、银行、保险等等日常的工作中，有大量的合同、票据、公文、单据等正式的文档需要处理、检查、识别、结构化，其中很重要的一个工作就是检查这些正式文档是否有盖章，以及所盖的章是否正确，是否清晰可辨别等等。以往的图章识别方法采用了多种传统图像处理方法(尤其OpenCV)或者多个深度学习的方法组合，步骤多，处理复杂，消耗内存，消耗时间。深度学习模型在训练过程中，从输入端(输入数据)到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递(反向传播)，每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束，中间所有的操作都包含在神经网络内部，不再分成多个模块处理。由原始数据输入，到结果输出，从输入端到输出端，中间的神经网络自成一体(也可以当做黑盒子看待)，这即为端到端技术。本专利技术提供了一个端到端的图章识别方法，可以处理诸如合同、发票、票据、单据、公文、报告中图章，如图1所示。根据图章的使用类别可以包括合同专用章、发票专用章、保险专用章、公司公章、政府公章等等，按照形状分，可以分为圆章、椭圆章、正方形章、长方形章、三角形章、菱形章、六边形章等等，按照取图方式分有扫描仪扫描、高拍仪拍摄、手机拍摄等等，按照颜色分红色、蓝色、灰色、二值图像等等。专利技术介绍本专利技术提供了一种端到端的完整图章识别方法及系统，可以处理所有可能的不规则的图章，在一个训练环节完成整个图章识别的所有步骤，真正做到自动化学习。根据本专利技术的第一方面，提供一种端到端的图章识别方法，所述方法包括：步骤1：输入原始图章图像，并提取所述原始图章图像的卷积网络特征图；步骤2：基于卷积网络特征图，通过文本框定位网络定位所述原始图章图像中的文本框；步骤3：通过卷积网络特征图和文本框的位置，获取文本框包含文字特征对应的文字编码，得到文本信息；步骤4：通过卷积网络特征图和文本框的位置获取图网络特征，并通过所述图网络特征推理得到各文本框之间的关联关系；步骤5：根据关联关系合并文本框以及文本信息，得到每一个关联的文本行几何信息以及相应的文本行信息，并输出结果。进一步地，所述步骤1采用U型卷积神经网络提取所述原始图章图像的卷积网络特征图。进一步地，所述U型卷积神经网络包括但不限于VGGNet、ResNet。进一步地，步骤1前还包括图章类型检测步骤。进一步地，步骤2中，所述文本框定位网络包括但不限于图像分割网络、字符框回归网络或者RCNN系列网络。进一步地，所述步骤3具体包括：步骤31：根据文本框的位置，将文本框映射到卷积网络特征图中；步骤32：提取文本框内已有的卷积网络特征；步骤33：经过全连接神经网络，得到各文本框包含文字特征对应的文字编码，基于文字编码得到相应的文本信息。进一步地，所述步骤4具体包括：步骤41：对文本框的坐标信息进行卷积网络特征嵌入；步骤42：提取文本框下面已有的卷积网络特征；步骤43：提取该文本框跟周边其他文本框的局部图特征；步骤44：将嵌入的卷积网络特征、已有的卷积网络特征以及局部图特征进行融合，形成图网络特征；步骤45：将所述图网络特征输入图卷积神经网络,计算各文本框相互之间的关联关系，通过关联关系表述文本框之间的先后顺序以及连接关系。进一步地，步骤41中，文本框的坐标信息形式为(x,y,Θ,w,h)，x表示文本框距y轴距离,y表示文本框距x轴距离,Θ表示文本框与水平线夹角,w表示文本框宽度,h表示文本框高度。进一步地，步骤43中，根据(x,y)的关系提取该文本框跟周边其他文本框的局部图特征。进一步地，步骤44中，将嵌入的卷积网络特征、已有的卷积网络特征以及局部图特征进行融合的方式为：步骤441：将文字框的坐标信息通过几何特征嵌入(embedding)方法，得到第一特征向量(矩阵)；步骤442：提取文本框下面已有的卷积网络特征，并展开成第二特征向量(矩阵)；步骤443：将第一特征向量(矩阵)和第二特征向量(矩阵)进行concat，得到该文本框的节点特征向量矩阵，并进行特征的归一化，得到归一化特征向量矩阵F；步骤444：以文本框几何中心点为中心节点，依据空间相似度寻找中心节点的二阶邻阶，得到文本框的相邻特征向量矩阵A，相邻的置为1，不相邻的置为0；步骤445：最后得到局部融合特征(A，F)。根据本专利技术的第二方面，提供一种端到端的图章识别系统，所述系统包括：处理器和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如以上任一方面所述的端到端的图章识别方法。根据本专利技术的第三方面，提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一方面所述的端到端的图章识别方法。本专利技术的有益效果包括：1、在一个端到端的网络里面集成了图章识别所需的所有的功能，包含字符定位、字符识别、字符框的管理关系抽取，最后完成图章中文本行信息提取过程，在一个统一的训练框架下完成一个完整的步骤，无需将这一过程分成多个分离的网络，极大提高了图章识别的可靠性，可训练性。2、在这个整体网络中，各个子模块之间共享了最大的信息量，特别是前面的卷积网络特征提取特征；这样最大范围共享特征，加速了训练和推理的过程，使得网络更容易训练；3、利用图卷积网络获得各个文本框之间的相互关系和字符顺序关系，解决了图章字符任意形状排列导致常规分析语义不清晰的问题，用机器学习的图神经网络来学习这种关联关系，使得无需设计人工规则，极大统一了规则库的学习。4、该方法能够适应各种排列方式和几何形状的图章，使得图章识别可以在一个统一的、整体的、端到端的网络一把完成，具有很好的工程价值。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1示出现有技术中各种形状的章；图2示出根据本专利技术实施例的一种端到端的图章识别方法流程图；图3示出根据本专利技术实施例的图章识别数据流示意图；图4示出根据本专利技术实施例的特征提取网络结构示意图；图5示出根据本专利技术实施例的字符文本框预测结果示意图；图6示出根据本专利技术实施例的文字识别结果示意图；图7示出根据本专利技术实施例的图网络特征提取过程流程图；图8示出根据本专利技术实施例的文本框的关联关系示意图；图9示出根据本专利技术实施例的合并得到文字行几何信息和文字信息示意图。本专利技术目的本文档来自技高网...

【技术保护点】
1.一种端到端的图章识别方法，其特征在于，所述方法包括：/n步骤1：输入原始图章图像，并提取所述原始图章图像的卷积网络特征图；/n步骤2：基于卷积网络特征图，通过文本框定位网络定位所述原始图章图像中的文本框；/n步骤3：通过卷积网络特征图和文本框的位置，获取文本框包含文字特征对应的文字编码，得到文本信息；/n步骤4：通过卷积网络特征图和文本框的位置，获取图网络特征，并通过所述图网络特征推理得到各文本框之间的关联关系；/n步骤5：根据关联关系合并文本框以及文本信息，得到每一个关联的文本行几何信息以及相应的文本行信息，并输出结果。/n

【技术特征摘要】
1.一种端到端的图章识别方法，其特征在于，所述方法包括：
步骤1：输入原始图章图像，并提取所述原始图章图像的卷积网络特征图；
步骤2：基于卷积网络特征图，通过文本框定位网络定位所述原始图章图像中的文本框；
步骤3：通过卷积网络特征图和文本框的位置，获取文本框包含文字特征对应的文字编码，得到文本信息；
步骤4：通过卷积网络特征图和文本框的位置，获取图网络特征，并通过所述图网络特征推理得到各文本框之间的关联关系；
步骤5：根据关联关系合并文本框以及文本信息，得到每一个关联的文本行几何信息以及相应的文本行信息，并输出结果。


2.根据权利要求1所述的图章识别方法，其特征在于，步骤1中，采用U型卷积神经网络提取所述原始图章图像的卷积网络特征图。


3.根据权利要求1所述的图章识别方法，其特征在于，步骤2中，所述文本框定位网络包括但不限于图像分割网络、字符框回归网络或者RCNN系列网络。


4.根据权利要求1所述的图章识别方法，其特征在于，所述步骤3具体包括：
步骤31：根据文本框的位置，将文本框映射到卷积网络特征图中；
步骤32：提取文本框内已有的卷积网络特征；
步骤33：经过全连接神经网络，得到各文本框包含文字特征对应的文字编码，基于文字编码得到相应的文本信息。


5.根据权利要求1所述的图章识别方法，其特征在于，所述步骤4具体包括：
步骤41：对文本框的坐标信息进行卷积网络特征嵌入；
步骤42：提取文本框内已有的卷积网络特征；
步骤43：提取该文本框跟周边其他文本框的局部图特征；
步骤44：将嵌入的卷积网络特征、已有的卷积网络特征以及局部图特征进行融合，形成图网络特征；
步骤45...

【专利技术属性】
技术研发人员：朱军民，王勇，康铁刚，
申请(专利权)人：北京易道博识科技有限公司，
类型：发明
国别省市：北京;11