基于OCR技术的身份证识别方法、存储介质及装置制造方法及图纸

本发明专利技术公开了一种基于OCR技术的身份证识别方法、存储介质及装置。该方法包括以下步骤：A.获取含有身份证图像的待识别图像，从待识别图像中截取身份证图像；B.采用渐进尺度扩张算法识别出上述身份证图像中的各个文本行的位置坐标；C.根据各个文本行的位置坐标，通过文本识别算法识别出上述身份证图像中各个文本框的文本；D.采用版面分析算法识别出上述身份证图像中的多个身份证信息要素以及各要素的位置坐标；E.根据上述身份证图像中各个身份证信息要素的位置坐标以及各个文本框的位置坐标，将各个文本框的文本与对应的身份证信息要素进行匹配，输出各个身份证信息要素所匹配的文本。该方法能够提高身份证信息的识别准确率。率。率。

【技术实现步骤摘要】
基于OCR技术的身份证识别方法、存储介质及装置


[0001]本专利技术涉及OCR
，尤其涉及一种基于OCR技术的身份证识别方法、存储介质及装置。

技术介绍

[0002]随着移动互联网的发展，许多企业或者政府机关推出了自己的移动APP或者小程序等，方便用户通过移动终端进行业务查询、办理等操作。这些操作通常需要获取用户的身份证信息进行身份认证，用户手动输入会比较繁琐且速度较慢，为此，业内技术人员开发了通过OCR技术自动识别身份证图像从而获取身份证信息的功能，用户只需使用移动终端摄像头拍摄身份证图像上传，移动APP/小程序即可自动识别身份证图像中的文本并输出文本信息（即身份证信息），无需用户手动输入，方便快捷。但若遇到有些少数民族身份证，由于其除了印刷有以汉语显示的身份证信息以外，还在汉语的上方或者下方印刷有以少数民族语言显示的身份证信息，文本行之间离较近，现有的身份证OCR识别方式容易将少数民族的身份证的相邻的两行文本行误识别为一行文本行，导致识别出错。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种基于OCR技术的身份证识别方法、存储有被执行时实现该方法的计算机程序的计算机可读存储介质以及包括该存储介质的身份证识别装置，该方法能够提高身份证信息的识别准确率。
[0004]为了解决上述技术问题，本专利技术提供了一种基于OCR技术的身份证识别方法，包括以下步骤：A.获取含有身份证图像的待识别图像，从待识别图像中截取身份证图像；B.采用渐进尺度扩张算法识别出上述身份证图像中的各个文本行的位置坐标；C.根据各个文本行的位置坐标，通过文本识别算法识别出上述身份证图像中各个文本框的文本；D.采用版面分析算法识别出上述身份证图像中的多个身份证信息要素以及各要素的位置坐标；E.根据上述身份证图像中各个身份证信息要素的位置坐标以及各个文本框的位置坐标，将各个文本框的文本与对应的身份证信息要素进行匹配，输出各个身份证信息要素所匹配的文本。
[0005]进一步：步骤A中具体是通过目标检测模型从待识别图像中截取身份证图像，目标检测模型包括用于提取待识别图像的图像特征的主干网络、对图像特征进行上采样的FPN网络、对图像特征进行下采样的PAN网络以及用于进行最优解筛选的NMS算法；目标检测模型从待识别图像中截取身份证图像的过程如下：A1.接收所输入的身份证图像；
A2.通过主干网络提取该身份证图像的图像特征；A3.通过FPN网络和PAN网络对所提取的图像特征进行上、下采样后输出预测特征图；A4.通过NMS算法对该预测特征图进行最优解筛选，输出身份证图像的位置坐标和身份证的面向信息；A5.根据身份证图像的位置坐标从待识别图像中截取身份证图像。
[0006]进一步地，步骤B具体地，提取上述身份证图像的图像特征，通过FPN网络对该图像特征进行上采样后输出预测特征图，然后采用渐进尺度扩张算法对该预测特征图进行文本检测，从而识别出上述身份证图像中的各个文本框的位置坐标。
[0007]进一步地，步骤C中，在通过文本识别算法识别出上述身份证图像中各个文本框的文本之前，执行倾斜文本处理步骤：随机取一个文本框的位置坐标，计算该文本框的倾斜角度，若文本框的倾斜角度大于预设角度，则使身份证图像绕其中心进行旋转，直至文本框旋转至水平。
[0008]进一步地，步骤E具体地：E1.对每个身份证信息要素执行如下文本匹配步骤：——E11.根据该身份证信息要素的位置坐标以及各个尚未匹配的文本框的位置坐标，为该身份证信息要素匹配对应的文本框的文本；——E12.判断该身份证信息要素所匹配的文本是否符合该身份证信息要素的标准格式：——E13.若否，则将该身份证信息要素所匹配的文本与在身份证图像中和该文本位置相邻的文本进行合并，以合并后的文本作为该身份证信息要素所匹配的文本并再次执行步骤E12；——E14.若是，则匹配完成；E2.输出各个身份证信息要素所匹配到的文本。
[0009]进一步地，步骤E2中，在输出各个身份证信息要素所匹配到的文本之前执行文本校正步骤：根据各个身份证信息要素的固定字段，对该身份证信息要素所匹配到的文本进行校正。
[0010]进一步地，步骤A具体是从视频流中截取多张不同帧的含有同一个身份证图像的待选图像，采用图像质量评价模型对每张待选图像进行图像质量评分，取评分最高者作为待识别图像。
[0011]本专利技术还提供理论一种计算机可读存储介质，其上存储有可执行的计算机程序，该计算机程序被执行时实现如上所述的基于OCR技术的身份证识别方法。
[0012]本专利技术还提供了一种基于OCR技术的身份证识别装置，包括用于拍摄身份证图像的摄像头、连接该摄像头的处理器以及连接该处理器的计算机可读存储介质，该计算机可读存储介质是如上所述的计算机可读存储介质，该处理器可执行该计算机可读存储介质中的计算机程序，从而实现如上所述的基于OCR技术的身份证识别方法。
[0013]渐进尺度扩张算法能够预测每个文本行的尺度逐渐递增的多个kernels，这些kernels和原始文本行具有同样的形状且其中心和原始文本行相同，最大尺度的kernel是原始文本行大小。kernel尺度越小，该尺度下的相邻文本行kernel之间的距离就会越大，故
在最小尺度下的各个文本行kernel中，相邻的两个文本行kernel是完全分离开的，不会被误识别为一个文本行，因此，渐进进度扩张算法从最小尺度的文本行kernel开始，依次在每个尺度下进行文本检测，在从最小尺度逐渐扩增至最大尺度的过程中，本级文本行kernel会受到上一级文本行kernel的监督，因此，即使扩增到原始文本行大小，也能够将文本行边缘像素区分开来。第一方面，本专利技术给出的基于OCR技术的身份证识别方法采用渐进尺度扩张算法识别出上述身份证图像中的各个文本行的位置坐标，能够准确地识别出各个文本行，降低了将少数民族身份证的相邻的两行文本行误识别为一行文本行的几率。
[0014]第二方面，本专利技术给出的基于OCR技术的身份证识别方法采用版面分析算法识别身份证图像中的身份证信息要素，能够将所识别出来的文本精准匹配到对应的身份证信息要素，避免输出的身份证信息错乱。
[0015]第三方面，在自然场景下拍摄得到的含有身份证图像的待识别图像，可能会含有非身份证上的文本内容，直接进行文本检测可能会检测到不属于身份证的文本，造成干扰。本专利技术给出的基于OCR技术的身份证识别方法是从待识别图像中截取身份证图像之后再进行文本检测，防止待识别图像中的其他文本对身份证信息识别造成干扰。
[0016]综合以上三个方面，本专利技术给出的基于OCR技术的身份证识别方法提高了身份证信息的识别准确率。
附图说明
[0017]图1是本专利技术提供的基于OCR技术的身份证识别方法的流程示意图。
[0018]图2是本专利技术提供的身份证信息自动识别组件的结构框图。
[0019]图3是本专利技术提供的目标检测模型的结构框图。
[0020]图4是本专利技术提供的文本框检测模型的结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OCR技术的身份证识别方法，其特征是，包括以下步骤：A.获取含有身份证图像的待识别图像，从待识别图像中截取身份证图像；B.采用渐进尺度扩张算法识别出上述身份证图像中的各个文本行的位置坐标；C.根据各个文本行的位置坐标，通过文本识别算法识别出上述身份证图像中各个文本框的文本；D.采用版面分析算法识别出上述身份证图像中的多个身份证信息要素以及各要素的位置坐标；E.根据上述身份证图像中各个身份证信息要素的位置坐标以及各个文本框的位置坐标，将各个文本框的文本与对应的身份证信息要素进行匹配，输出各个身份证信息要素所匹配的文本。2.如权利要求1所述的基于OCR技术的身份证识别方法，其特征是：步骤A中具体是通过目标检测模型从待识别图像中截取身份证图像，目标检测模型包括用于提取待识别图像的图像特征的主干网络、对图像特征进行上采样的FPN网络、对图像特征进行下采样的PAN网络以及用于进行最优解筛选的NMS算法；目标检测模型从待识别图像中截取身份证图像的过程如下：A1.接收所输入的身份证图像；A2.通过主干网络提取该身份证图像的图像特征；A3.通过FPN网络和PAN网络对所提取的图像特征进行上、下采样后输出预测特征图；A4.通过NMS算法对该预测特征图进行最优解筛选，输出身份证图像的位置坐标和身份证的面向信息；A5.根据身份证图像的位置坐标从待识别图像中截取身份证图像。3.如权利要求1所述的基于OCR技术的身份证识别方法，其特征是，步骤B具体地，提取上述身份证图像的图像特征，通过FPN网络对该图像特征进行上采样后输出预测特征图，然后采用渐进尺度扩张算法对该预测特征图进行文本检测，从而识别出上述身份证图像中的各个文本框的位置坐标。4.如权利要求1所述的基于OCR技术的身份证识别方法，其特征是，步骤C中，在通过文本识别算法识别出上述身份证图像中各个文本框的文本之前，执行倾斜文本处理步骤：随机取一个文本框...

【专利技术属性】
技术研发人员：王先来，
申请(专利权)人：广州佰锐网络科技有限公司，
类型：发明
国别省市：