基于目标检测和关键点检测的证件版面分析方法技术

本发明专利技术公开了一种基于目标检测和关键点检测的证件版面分析方法，包括：步骤A：采集到彩色的证件图像，并对证件图像进行标签标注；步骤B：提取彩色的证件图像的特征信息，对证件图像获得编码特征；步骤C：在损失函数中加入坐标宽度损失函数，对图像特征和相对应的标签信息进行损失计算；步骤D：通过目标检测和关键点检测算法，对证件图像进行结果预测，包括标题坐标和内容坐标，以及内容坐标所对应的关键点信息的坐标，进行结果预测，得到内容栏所在的文本行框和标题栏的文本行框，以及内容栏所对应的关键点位置；步骤E：使用字符识别算法进行全页文本行识别，根据步骤D获得标题栏与对应内容栏的关系，结构化输出全页识别信息。

【技术实现步骤摘要】

本专利技术涉及证件识别，尤其涉及一种基于目标检测和关键点检测的证件版面分析方法。

技术介绍

1、随着全球化趋势，越来越多的外国友人会来我国，进行游学和旅游，而护照作为必不可少的随身证件，对于护照全页识别而言，护照整体的版面分布对于最终的识别结果为重要环节，现有的护照版面分析算法主要是基于transformer大模型，或者通过收集已有的的证件版面进行版面分析，其中，基于大模型的方法，使用的场景有限，无法满足小型嵌入式平台，基于收集已有的证件版面进行版面分析的方法或基于模板匹配的方法，考虑到全世界有上百个国家，每个国家根据具体情况和出境性质不同，使用不同性质的护照，此外，由于护照防伪技术的更新迭代，护照模板不仅存在数量多的特点，还会因为时间的迁移，不断的有新的护照模板涌现，这就给护照模板收集工作带来的很多不可估量的潜在风险，且以图片为输入的系统常常伴随着变形、模糊、干扰信息等问题，每个模板都需要大量步骤进行调优，其可扩展性很差。

技术实现思路

1、本专利技术的一个目的在于提供一种基于目标检测和关键点检测的证件版面本文档来自技高网...

【技术保护点】

1.一种基于目标检测和关键点检测的证件版面分析方法，其特征在于，包括：

2.根据权利要求1所述的证件版面分析方法，其特征在于，所述步骤A包括子步骤A1：对证件图像进行标签标注的要求为：按照证件图像的标题栏和内容栏进行类别区分。

3.根据权利要求2所述的证件版面分析方法，其特征在于，所述步骤A包括子步骤A2：内容栏为每个标题栏一一对应的内容文本行，标题栏和内容栏均采用矩形框的形式标注，同时将每个内容栏相对应的标题栏的中心点作为每个内容栏对应的关键点进行标注。

4.根据权利要求3所述的证件版面分析方法，其特征在于，所述步骤B包括子步骤B1：将证件图像I送入...

【技术特征摘要】

1.一种基于目标检测和关键点检测的证件版面分析方法，其特征在于，包括：

2.根据权利要求1所述的证件版面分析方法，其特征在于，所述步骤a包括子步骤a1：对证件图像进行标签标注的要求为：按照证件图像的标题栏和内容栏进行类别区分。

3.根据权利要求2所述的证件版面分析方法，其特征在于，所述步骤a包括子步骤a2：内容栏为每个标题栏一一对应的内容文本行，标题栏和内容栏均采用矩形框的形式标注，同时将每个内容栏相对应的标题栏的中心点作为每个内容栏对应的关键点进行标注。

4.根据权利要求3所述的证件版面分析方法，其特征在于，所述步骤b包括子步骤b1：将证件图像i送入darknet网络主干，进行特征编码，得到图像特征i1，并使用深度学习的网络结构，进行特征的扩展和优化，图像特征的公式为i1 = encode（i）。

5.根据权利要求4所述的证件版面分析方法，其特征在于，所述步骤c包括子步骤c1：将图像特征i1和标签信息送入到损失函数中进行loss计算，得到的loss结果进行反传优化算法效果。

6.根据权利要求5所述的证件版面分析方法，其特征在于，所述步骤d包括子步骤d1：区分出标题栏和内容栏，并通过内容栏的关键点所指向的对应标题栏，明确标题栏和内容栏的对应关系。

7.根据权利要求6所述的证件版面分析方法，其特征在于，所述步骤e包括子步骤e1：采用字符识别算法，对全页的文本行信息进行识别，通过步骤d1得到的标题栏和内容栏的位置，区分文本行框的标题栏和相对应的内容栏。

8.根据权利要求7所述的证件版面分析方法，其特征在于，所述步骤e包括子步骤...

【专利技术属性】
技术研发人员：赖时伍，付雪平，夏炉系，张浒，胡刚，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：