证件图像识别方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种证件图像识别方法、装置、终端及存储介质，属于图像处理技术领域。方法包括：将OCR证件图像输入到第一图像识别模型中，输出目标人像区域，第一图像识别模型根据面积重合度训练得到；将OCR证件图像输入到第二图像识别模型中，输出目标证件号区域和目标有效期区域，第二图像识别模型根据长宽比及文本信息之间的相似度训练得到。本发明专利技术获取OCR证件图像，将该图像输入到第一图像识别模型和第二图像识别模型中，输出目标人像区域、目标证件号区域及目标有效期区域。由于模型并不是采用人工评测方式确定的，而是基于面积重合度、长宽比及文本信息确定的，因而所确定的模型更准确，基于该模型进行图像识别时，识别结果更准确。

【技术实现步骤摘要】
证件图像识别方法、装置、终端及存储介质
本专利技术涉及图像处理领域，特别涉及一种证件图像识别方法、装置、终端及存储介质。
技术介绍
在金融领域，当用户在虚拟银行开户时，虚拟银行系统需要对用户的身份进行验证，同时用户也需要对虚拟银行所开设账号的输入信息进行验证。在进行验证时，会对用户所用的证件(包括大陆身份证、香港身份证、港澳通行证等)进行OCR(OpticalCharacterRecognition，光学字符识别)文字识别，得到OCR证件图像，并从OCR证件图像中识别出人像区域、证件号区域、有效期区域，进而基于所识别出的人像区域，与采集到的用户人像区域进行比对，实现对用户的身份的验证，并通过将所识别出的证件号区域和有效期区域展示给用户，实现对账户的输入信息的验证。上述验证过程中，证件图像识别的准确性，直接影响到用户的账户安全及用户体验效果，因此，如何对OCR证件图像进行识别，成为本领域人员较为关注的问题。目前，相关技术在对OCR证件图像进行识别之前，采用人工方式对初始图像识别模型的识别结果进行评测，基于评测结果，对初始图像识别模型的模型参数进行优化，得到图像识别模型，进而基于所确定的图像识别模型，对OCR证件图像进行识别，得到人像区域、证件号区域和有效期区域。然而，由于人工评测时用户的主观性较强，将影响到图像识别模型的评测结果及模型参数的优化过程，进一步影响所确定的图像识别模型的准确性，因此，基于该图像识别模型进行证件图像识别时，识别结果准确较差。
技术实现思路
为了解决相关技术的问题，本专利技术实施例提供了一种证件图像识别方法、装置、终端及存储介质。所述技术方案如下：一方面，提供了一种证件图像识别方法，所述方法包括：获取待识别的光学字符识别OCR证件图像，所述待识别的OCR证件图像通过对证件进行拍摄及OCR文字识别得到；将所述待识别的OCR证件图像输入到第一图像识别模型中，输出目标人像区域，所述第一图像识别模型根据标注结果与输出结果之间的面积重合度训练得到，所述第一图像识别模型用于基于OCR证件图像，识别出人像区域，所述目标人像区域用于与采集到的用户人像区域进行比对，以实现身份的验证；将所述待识别的OCR证件图像输入到第二图像识别模型中，输出目标证件号区域和目标有效期区域，所述第二图像识别模型根据输出结果的长宽比及标注结果与输出结果的文本信息之间的相似度训练得到，所述第二图像识别模型用于基于OCR证件图像，识别出证件号区域和有效期区域，所述目标证件号区域和所述目标有效期区域用于对输入信息进行验证。另一方面，提供了一种证件图像识别装置，所述装置包括：获取模块，用于获取待识别的光学字符识别OCR证件图像，所述待识别的OCR证件图像通过对证件进行拍摄及OCR文字识别得到；第一输入输出模块，用于将所述待识别的OCR证件图像输入到第一图像识别模型中，输出目标人像区域，所述第一图像识别模型根据标注结果与输出结果之间的面积重合度训练得到，所述第一图像识别模型用于基于OCR证件图像，识别出人像区域，所述目标人像区域用于与采集到的用户人像区域进行比对，以实现身份的验证；第二输入输出模块，用于将所述待识别的OCR证件图像输入到第二图像识别模型中，输出目标证件号区域和目标有效期区域，所述第二图像识别模型根据输出结果的长宽比及标注结果与输出结果的文本信息之间的相似度训练得到，所述第二图像识别模型用于基于OCR证件图像，识别出证件号区域和有效期区域，所述目标证件号区域和所述目标有效期区域用于对输入信息进行验证。另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现证件图像识别方法。另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现证件图像识别方法。本专利技术实施例提供的技术方案带来的有益效果是：获取OCR证件图像时，将该图像输入到第一图像识别模型和第二图像识别模型中，输出目标人像区域、目标证件号区域及目标有效期区域。由于模型并不是采用人工评测方式确定的，而是基于面积重合度、长宽比及文本信息确定的，因而所确定的模型更准确，基于该模型进行图像识别时，识别结果更准确。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种证件图像识别方法所涉及的实施环境；图2是本专利技术实施例提供的一种确定第一图像识别模型的流程图；图3是本专利技术实施例提供的一种身份证的示意图；图4是本专利技术实施例提供的一种人像匹配过程的示意图；图5是本专利技术实施例提供的一种确定第二图像识别模型的流程图；图6是本专利技术实施例提供的一种证件号及有效期匹配过程的示意图；图7是本专利技术实施例提供的一种证件图像识别方法流程图；图8是本专利技术实施例提供的一种证件图像识别过程的示意图；图9是本专利技术实施例提供的一种证件图像识别装置结构示意图；图10示出了本专利技术一个示例性实施例提供的终端的结构框图；图11是根据一示例性实施例示出的一种用于确定第一图像识别模型及第二图像识别模型的服务器。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。在执行本专利技术实施例之前，首先对本专利技术实施例涉及的名词进行解释。OCR是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。Vbank指虚拟银行(VirtualBank)旨在为用户提供随时随地的移动银行服务，将立足于香港，服务大湾区，后期将辐射东南亚地区，为用户提供存、贷、汇等基础银行业务和基金、数字黄金等增值业务。groundtruth指的是机械学习的有监督学习中，数据是有标注的，以(x,t)的形式出现，其中x是输入数据，t是标注。正确的t标注是groundtruth，错误的标记则不是。请参考图1，其示出了本专利技术实施例提供的证件图像识别方法所涉及的实施环境，参见图1，该实施环境包括：终端101和服务器102。其中，终端101可以为智能手机、平板电脑、笔记本电脑等，本专利技术实施例不对终端101的产品类型进行限定。该终端101中安装有第一图像识别模型和第二图像识别模型，该第一图像识别模型用于基于OCR证件图像，识别出人像区域；该第二图像识别模型用于基于OCR证件图像，识别出证件号区域和有本文档来自技高网...

【技术保护点】
1.一种证件图像识别方法，其特征在于，所述方法包括：/n获取待识别的光学字符识别OCR证件图像，所述待识别的OCR证件图像通过对证件进行拍摄及OCR文字识别得到；/n将所述待识别的OCR证件图像输入到第一图像识别模型中，输出目标人像区域，所述第一图像识别模型根据标注结果与输出结果之间的面积重合度训练得到，所述第一图像识别模型用于基于OCR证件图像，识别出人像区域，所述目标人像区域用于与采集到的用户人像区域进行比对，以实现身份的验证；/n将所述待识别的OCR证件图像输入到第二图像识别模型中，输出目标证件号区域和目标有效期区域，所述第二图像识别模型根据输出结果的长宽比及标注结果与输出结果的文本信息之间的相似度训练得到，所述第二图像识别模型用于基于OCR证件图像，识别出证件号区域和有效期区域，所述目标证件号区域和所述目标有效期区域用于对输入信息进行验证。/n

【技术特征摘要】
1.一种证件图像识别方法，其特征在于，所述方法包括：
获取待识别的光学字符识别OCR证件图像，所述待识别的OCR证件图像通过对证件进行拍摄及OCR文字识别得到；
将所述待识别的OCR证件图像输入到第一图像识别模型中，输出目标人像区域，所述第一图像识别模型根据标注结果与输出结果之间的面积重合度训练得到，所述第一图像识别模型用于基于OCR证件图像，识别出人像区域，所述目标人像区域用于与采集到的用户人像区域进行比对，以实现身份的验证；
将所述待识别的OCR证件图像输入到第二图像识别模型中，输出目标证件号区域和目标有效期区域，所述第二图像识别模型根据输出结果的长宽比及标注结果与输出结果的文本信息之间的相似度训练得到，所述第二图像识别模型用于基于OCR证件图像，识别出证件号区域和有效期区域，所述目标证件号区域和所述目标有效期区域用于对输入信息进行验证。


2.根据权利要求1所述的方法，其特征在于，所述将所述待识别的OCR图像输入到第一图像识别模型中，输出目标人像区域之前，还包括：
获取多个训练样本图像，所述多个训练样本图像由不同类型的终端对处于不同拍摄环境及不同拍摄背景的多种类型的证件拍摄及OCR文字识别得到，每个训练样本图像具有人像标注区域；
获取初始第一图像识别模型；
将所述多个训练样本图像输入到所述第一初始图像识别模型中，输出每个训练样本图像对应的人像比对区域；
基于每个训练样本图像对应的人像标注区域和人像比对区域，对所述第一初始图像识别模型进行评测；
基于评测结果，对所述第一初始图像识别模型的模型参数进行优化，得到所述第一图像识别模型。


3.根据权利要求2所述的方法，其特征在于，所述基于每个训练样本图像对应的人像标注区域和人像比对区域，对所述第一初始图像识别模型进行评测，包括：
获取每个训练样本图像对应的人像标注区域的顶点坐标；
获取每个训练样本图像对应的人像比对区域的顶点坐标；
基于每个训练样本图像对应的人像标注区域和人像比对区域的顶点坐标，确定每个训练样本图像对应的人像标注区域和人像比对区域是否匹配；
当匹配的训练样本图像数量小于第一预设数量，确定对所述第一初始图像识别模型的评测结果为未通过。


4.根据权利要求3所述的方法，其特征在于，所述基于每个训练样本图像对应的人像标注区域和人像比对区域的顶点坐标，确定每个训练样本图像对应的人像标注区域和人像比对区域是否匹配，包括：
对于任一训练样本图像，根据所述训练样本图像对应的人像标注区域和人像比对区域的顶点坐标，获取所述训练样本图像对应的人像标注区域和人像比对区域之间的面积重合度；
当所述训练样本图像对应的人像标注区域和人像比对区域之间的面积重合度超过指定阈值，确定所述训练样本图像对应的人像标注区域和人像比对区域匹配。


5.根据权利要求1所述的方法，其特征在于，所述将所述待识别的OCR证件图像输入到第二图像识别模型中，输出目标证件号区域和目标有效期区域之前，还包括：
获取多个训练样本图像，所述多个训练样本图像由不同类型的终端对处于不同拍摄环境及不同拍摄背景的多种类型的证件拍摄及OCR文字识别得到，每个训练样本图像具有证件号标注区域和有效期标注区域；
获取初始第二图像识别模型；
将所述多个训练样本图像输入到所述第二初始图像识别模型中，输出每个训练样本图像对应的证件号比对区域和有效期比对区域；
基于每个训练样本图像对应的证件号标注区域、有效期标注区域、证件号比对区域及有效期比对区域，对所述第二初始图像识别模型进行评测；
基于评测结果，对所述第二初始图像识别模型的模型参数进行优化，得到所述第二图像识别模型。


6.根据权利要求5...

【专利技术属性】
技术研发人员：唐嘉龙，彭梅英，鲁四喜，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44