一种基于图神经网络识别证件的方法及系统技术方案

本说明书实施例公开了一种基于图神经网络识别证件的方法及系统，所述方法包括：获取待识别图像；检测所述待识别图像中包含的内容文本，确定多个检测框；基于所述多个检测框构建版面图；其中，所述版面图包括多个节点和多个边，所述节点对应所述检测框，所述边对应所述检测框与其它检测框之间的空间位置关系；利用训练好的图神经网络模型对所述版面图进行处理，确定所述版面图中所述检测框的字段类别，并对关键字段进行文字识别，从而提取证件中的关键信息。

【技术实现步骤摘要】
一种基于图神经网络识别证件的方法及系统
本说明书实施例涉及图像处理
，特别涉及一种基于图神经网络识别证件的方法及系统。
技术介绍
证件是记录个人或组织基本信息的重要凭证。为了保障经济活动的正常进行，保护社会安全，证件在社会活动中的诸多领域得到广泛应用。随之而来的，越来越多的应用平台，如网约车平台、借贷平台等，需要采集和登记相应证件中的文本信息，以完成业务，例如，进行实名制认证等。然而，在利用证件中的文本之前(例如，确定填写的内容是否与证件中的文本内容一致等)，首先需要确定文本对应的类型，即属于证件中的什么信息。为此，本说明书实施例提出一种基于图神经网络识别证件的方法，确定证件图像中文本的类别。
技术实现思路
本说明书实施例的一个方面提供一种基于图神经网络识别证件的方法，所述方法包括：获取待识别图像；检测所述待识别图像中包含的内容文本，确定多个检测框；基于所述多个检测框构建版面图；其中，所述版面图包括多个节点和多个边，所述节点对应所述检测框，所述边对应所述检测框与其它检测框之间的空间位置关系；利用训练好的图神经网本文档来自技高网...

【技术保护点】
1.一种基于图神经网络识别证件的方法，包括：/n获取待识别图像；/n检测所述待识别图像中包含的内容文本，确定多个检测框；/n基于所述多个检测框构建版面图；其中，所述版面图包括多个节点和多个边，所述节点对应所述检测框，所述边对应所述检测框与其它检测框之间的空间位置关系；/n利用训练好的图神经网络模型对所述版面图进行处理，确定所述版面图中所述检测框的字段类别，基于所述字段类别识别证件。/n

【技术特征摘要】
1.一种基于图神经网络识别证件的方法，包括：
获取待识别图像；
检测所述待识别图像中包含的内容文本，确定多个检测框；
基于所述多个检测框构建版面图；其中，所述版面图包括多个节点和多个边，所述节点对应所述检测框，所述边对应所述检测框与其它检测框之间的空间位置关系；
利用训练好的图神经网络模型对所述版面图进行处理，确定所述版面图中所述检测框的字段类别，基于所述字段类别识别证件。


2.如权利要求1所述的方法，所述检测所述待识别图像中包含的内容文本，确定多个检测框，包括：
获取所述证件的类型；
基于文本检测算法对所述待识别图像进行处理，确定多个文本框；
当所述类型属于预设类型，基于所述预设类型对应的预设规则对所述多个文本框进行处理，确定所述多个检测框。


3.如权利要求2所述的方法，所述预设类型对应的证件存在至少一个合并参考行，所述合并参考行中的字段类型相同，
所述当所述类型属于预设类型，基于所述预设类型对应的预设规则对所述多个文本框进行处理，确定所述多个检测框，包括：
确定所述证件中位于同一行的待合并文本框；
确定所述证件的至少一个待合并行，所述待合并行与所述合并参考行对应；
将所述待合并行的待合并文本框进行合并，确定所述检测框。


4.如权利要求3所述的方法，所述确定所述证件中位于同一行的待合并文本框，包括：
判断所述文本框与其他文本框在竖直方向上对应的坐标值的重合度；
响应于所述重合度大于第一预设阈值，将所述文本框和所述其他文本框确定为所述位于同一行的待合并文本框。


5.如权利要求1所述的方法，所述检测所述待识别图像中包含的内容文本，确定多个检测框，包括：
基于文本检测算法对所述待识别图像进行处理，确定多个文本框；
判断所述文本框和其他文本框之间距离是否小于第二预设阈值，以及所述文本框中内容和所述其他文本框中内容的字号是否相同；
响应于所述文本框和所述其他文本框之间所述距离小于所述第二预设阈值，以及所述文本框中内容和所述其他文本框中内容的字号相同，合并所述文本框和所述其他文本框，确定所述检测框。


6.如权利要求1所述的方法，所述节点的特征反映以下信息中的一种或多种：
所述检测框的位置、大小、形状和相关的图像信息，所述相关的图像信息是基于所述检测框确定的区域图像的相关信息。


7.如权利要求1所述的方法，所述边的特征反映以下信息中的一种或多种：
所述检测框与所述其它检测框之间的距离信息和相对位置信息。


8.如权利要求1所述的方法，所述基于所述多个检测框构建版面图，包括：
从所述多个检测框中，确定与所述检测框水平相邻或/和竖直相邻的至少一个其他检测框；
将所述多个检测框中每一个及其对应的至少一个其他检测框进行连接，构成所述版面图。


9.如权利要求1所述的方法，所述基于所述多个检测框构建版面图，包括：
从所述多个检测框中，确定与所述检测框之间的距离满足预设要求的至少一个其他检测框；
将所述多个检测框中每一个及其对应的至少一个其他检测框进行连接，构成所述版面图。


10.如权利要求1所述的方法，所述基于所述字段类别识别证件，包括：
基于所述检测框的字段类别，确定与预设业务相关的内容框；
基于识别算法对所述内容框中的文本进行识别，确定所述内容框中的文本内容。


11.如权利要求1所述的方法，训练所述训练好的图神经网络模型包括：
获取样本训练集，所述样本训练集包括：基于所述证件的多个样本图像建立的多个样本版面图，和所述样本版面图的至少一个样本节点对应的标签；其中，
所述样本图像为所述证件的完整图像、所述证件的非完整图像和所述证件的不同排版的图像；
所述样本版面图的样本节点对应所述样本图像的样本检测框，所样本版面图中样本边对应所述样本检测框与其它样本检测框之间的空间位置关系，所述样本节点对应的标签表征所述样本节点对应的样本检测框中字段的类别；
基于所述样本训练集，训练得到所述训练好的图神经网络模型；其中，
训练的损失函数基于所述样本节点对应的标签和所述样本节点输出的预测值之间的差异建立。


12.一种基于图神经网络识别证件的系统，包括：
获取模块，用于获取待识别图像；
检测模块，用于检测所述...

【专利技术属性】
技术研发人员：汪昊，张天明，王智恒，王树栋，薛韬略，周士奇，程博，毕潇，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11