一种基于图像处理的手持身份证认证系统技术方案

本发明专利技术公开了一种基于图像处理的手持身份证认证系统，包括图像预处理单元、身份证矩形识别单元、身份信息提取单元、身份信息验证单元以及人脸相似度验证单元。本发明专利技术系统将基于手持身份证照片的用户认证流程自动化，达到用户身份认证的安全、快速、可靠的目的，实现手持身份证照片的预处理、身份证矩形检测、去重、识别并根据人脸相似度对照片进行判别认证，同时提供了自定义的阈值调整，提升系统的灵活性，提高用户身份认证的整体效率，降低了审核流程的成本。

A handheld ID card authentication system based on image processing

The invention discloses a handheld ID card authentication system based on image processing, which comprises an image preprocessing unit, an identity card rectangle identification unit, an identity information extraction unit, an identity information verification unit and a human face similarity verification unit. The system of the invention to the authentication process automation handheld ID based on photos, to achieve user authentication security, fast, reliable, handheld ID photo pretreatment, ID card, to rectangular detection and identification and similarity of images according to face identification authentication, while providing a custom threshold adjustment, to enhance the flexibility of the system, improve the overall efficiency of user authentication, reduces the cost of the audit process.

【技术实现步骤摘要】
一种基于图像处理的手持身份证认证系统
本专利技术属于图像识别
，具体涉及一种基于图像处理的手持身份证认证系统。
技术介绍
身份认证是指应用系统对用户身份进行认证的操作。计算机和互联网是一个虚拟世界，所有信息包括用户的身份信息都是使用数据来表示的，对用户的认证、授权也是针对用户数字身份而言。而医疗信息的披露与使用，针对的是现实世界中用户的物理身份，如何保证数字身份的持有人与现实世界中的身份相对应，就成为了一个很重要的问题。身份认证技术的诞生就是为了解决这个问题。使用手持身份证进行认证的场景在许多高安全性要求的应用中都有使用，如银行、证券等机构，当前普遍是使用人工审核的方式进行操作，往往会带来以下问题：(1)审核流程慢：因为采用了人工方式审核，必然会带来效率低下，流程耗时长的问题，特别是用户量大的情况下，非常影响用户体验。(2)成本过高：人工审核需要花费大量的人工成本，并且随着产品规模扩大，相应的人工成本也会随之上涨。(3)安全风险：由于人工元素的引入，未免会产生操作不规范、操作失误、窃取个人信息等问题，引入不确定因素与安全风险。
技术实现思路
针对目前手持身份证认证领域的情况与弊端，本专利技术提供一种基于图像处理的手持身份证认证系统，能够实现通过手持身份证照片对用户身份进行自动化认证。一种基于图像处理的手持身份证认证系统，包括：图像预处理单元，用于对含手持身份证的用户人脸图像依次进行去噪、灰度化以及边缘检测的预处理操作；身份证矩形识别单元，用于对预处理过后的图像依次进行多边形检测、矩形检测、过滤、去重、分类识别以及矫正操作，从而截取得到身份证矩形；身份信息提取单元，采用OCR(OpticalCharacterRecognition，光学字符识别)技术从身份证矩形中提取出用户的身份信息；身份信息验证单元，通过调用第三方API(ApplicationProgrammingInterface，应用程序编程接口)验证用户的身份信息是否合法有效，若否即认证失败；人脸相似度验证单元，对于身份信息合法有效的用户通过调用人脸识别API计算身份证矩形中的证件人脸与图像中用户人脸之间的相似度，根据相似度判定是否为同一人，若是则认证成功，若否即认证失败。优选地，所述图像预处理单元采用中值滤波对图像进行去噪，采用Canny算子对灰度图像进行边缘检测，并在边缘检测之前对图像的灰度信息进行调整，具体过程如下：首先，统计图像中各个像素点的灰度值，得到最大灰度值gmax、最小灰度值gmin及平均灰度值gavg；然后，根据以下算式对图像每一像素点的灰度值进行调整：若gmax-gavg≥gavg-gmin，则：若gmax-gavg＜gavg-gmin，则：其中：gori和gadj分别为图像中任一像素点调整前后的灰度值；通过以上方法对图像像素点的灰度值进行调整，使得灰度分布不会过度集中或分散，提升边缘检测的效果，避免边缘检测算法受不同强度光线下所导致漏检或错检的问题。优选地，所述身份证矩形识别单元在进行多边形检测之前，先对通过边缘检测后的二值化图像进行膨胀操作，经边缘膨胀后所述身份证矩形识别单元使用OpenCV(OpenSourceComputerVisionLibrary，开源计算机视觉库)自带的findContours函数对二值化图像进行多边形检测，进而使用OpenCV自带的minAreaRect函数对二值化图像进行矩形检测，以找出每个多边形所对应的外接矩形；由于边缘检测得到的边缘之间一般都会有一些细小的间隙，直接对其进行多边形识别效果会很差，膨胀操作能将原本断开的边缘连接到一起，提升多边形的识别效果。进一步地，所述身份证矩形识别单元根据面积和长宽比信息对图像中检测得到的所有外接矩形进行过滤，具体过程如下：1.1对于任一外接矩形，根据以下算式计算其内部多边形与该外接矩形的面积比areaRatio：其中：arearectangle和areacontour分别为该外接矩形与其内部多边形的面积；1.2根据以下算式计算该外接矩形长边与短边的比例hwRatio：其中：heightrectangle和widthrectangle分别为该外接矩形的高和宽；1.3若areaRatio≥0.7且|hwRatio-1.585|＜0.25，则使该外接矩形进入下一步去重操作；否则滤除该外接矩形。进一步地，所述身份证矩形识别单元将过滤后剩余的矩形与候选集中的身份证矩形逐一进行比对以实现去重，具体过程如下；所述候选集中的身份证矩形为经身份证矩形识别单元分类识别为身份证的矩形；2.1对于经过滤后剩余的任一矩形R1以及候选集中的任一身份证矩形R2，根据以下算式计算两个矩形的面积比areaRatio*：其中：area1为矩形R1的面积，area2为身份证矩形R2的面积；2.2根据以下算式计算两个矩形的旋转角度比angleRatio：其中：angle1为矩形R1相对图像的旋转角度，angle2为身份证矩形R2相对图像的旋转角度；2.3根据以下算式计算两个矩形中心距离与最长边的比例distRatio：其中：height1和width1分别为矩形R1的高和宽，height2和width2分别为身份证矩形R2的高和宽，center1(x)和center1(y)分别为矩形R1中心点在图像中的横坐标和纵坐标，center2(x)和center2(y)分别为身份证矩形R2中心点在图像中的横坐标和纵坐标；2.4若areaRatio*＞0.9且angleRatio＞0.9且distRatio＜0.1，则判定矩形R1与身份证矩形R2重复，并剔除矩形R1。进一步地，所述身份证矩形识别单元采用经深度学习的图像分类模型Inception-V3对去重后剩余的矩形进行分类识别，若被识别为身份证矩形，则将其加入候选集中；所述图像分类模型Inception-V3由大量预先打好标签的身份证矩形和非身份证矩形作为样本输入进行训练得到，设定0.5为阈值，将去重后剩余的矩形逐一输入至图像分类模型Inception-V3，若模型输出的置信度大于0.5，则判定该矩形为身份证矩形并将其加入候选集中。进一步地，所述身份证矩形识别单元采用OpenCV自带的PerspectiveTransform组件对候选集中的身份证矩形进行矫正，并将矫正后的身份证矩形从图像中截取出来作为身份信息提取单元的输入图像。本专利技术手持身份证认证系统将基于手持身份证照片的用户认证流程自动化，达到用户身份认证的安全、快速、可靠的目的，实现手持身份证照片的预处理、身份证矩形检测、去重、识别并根据人脸相似度对照片进行判别认证，同时提供了自定义的阈值调整，提升系统的灵活性，提高用户身份认证的整体效率，降低了审核流程的成本。附图说明图1为本专利技术认证系统的整体认证流程示意图。图2为本专利技术认证系统对身份证矩形筛选、去重及识别操作的流程示意图。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案进行详细说明。本专利技术手持身份证认证系统包括图像预处理单元、身份证矩形识别单元、身份信息提取单元、身份信息验证单元以及人脸相似度验证单元，其整体操作流程如图1所示，其中：图像预处理单元包含图像去噪、灰度化、边缘检测等操作，具体地：首先对输本文档来自技高网...

【技术保护点】
一种基于图像处理的手持身份证认证系统，其特征在于，包括：图像预处理单元，用于对含手持身份证的用户人脸图像依次进行去噪、灰度化以及边缘检测的预处理操作；身份证矩形识别单元，用于对预处理过后的图像依次进行多边形检测、矩形检测、过滤、去重、分类识别以及矫正操作，从而截取得到身份证矩形；身份信息提取单元，采用OCR技术从身份证矩形中提取出用户的身份信息；身份信息验证单元，通过调用第三方API验证用户的身份信息是否合法有效，若否即认证失败；人脸相似度验证单元，对于身份信息合法有效的用户通过调用人脸识别API计算身份证矩形中的证件人脸与图像中用户人脸之间的相似度，根据相似度判定是否为同一人，若是则认证成功，若否即认证失败。

【技术特征摘要】
1.一种基于图像处理的手持身份证认证系统，其特征在于，包括：图像预处理单元，用于对含手持身份证的用户人脸图像依次进行去噪、灰度化以及边缘检测的预处理操作；身份证矩形识别单元，用于对预处理过后的图像依次进行多边形检测、矩形检测、过滤、去重、分类识别以及矫正操作，从而截取得到身份证矩形；身份信息提取单元，采用OCR技术从身份证矩形中提取出用户的身份信息；身份信息验证单元，通过调用第三方API验证用户的身份信息是否合法有效，若否即认证失败；人脸相似度验证单元，对于身份信息合法有效的用户通过调用人脸识别API计算身份证矩形中的证件人脸与图像中用户人脸之间的相似度，根据相似度判定是否为同一人，若是则认证成功，若否即认证失败。2.根据权利要求1所述的手持身份证认证系统，其特征在于：所述图像预处理单元采用中值滤波对图像进行去噪，采用Canny算子对灰度图像进行边缘检测，并在边缘检测之前对图像的灰度信息进行调整，具体过程如下：首先，统计图像中各个像素点的灰度值，得到最大灰度值gmax、最小灰度值gmin及平均灰度值gavg；然后，根据以下算式对图像每一像素点的灰度值进行调整：若gmax-gavg≥gavg-gmin，则：若gmax-gavg＜gavg-gmin，则：其中：gori和gadj分别为图像中任一像素点调整前后的灰度值。3.根据权利要求1所述的手持身份证认证系统，其特征在于：所述身份证矩形识别单元在进行多边形检测之前，先对通过边缘检测后的二值化图像进行膨胀操作，经边缘膨胀后所述身份证矩形识别单元使用OpenCV自带的findContours函数对二值化图像进行多边形检测，进而使用OpenCV自带的minAreaRect函数对二值化图像进行矩形检测，以找出每个多边形所对应的外接矩形。4.根据权利要求1所述的手持身份证认证系统，其特征在于：所述身份证矩形识别单元根据面积和长宽比信息对图像中检测得到的所有外接矩形进行过滤，具体过程如下：1.1对于任一外接矩形，根据以下算式计算其内部多边形与该外接矩形的面积比areaRatio：其中：arearectangle和areacontour分别为该外接矩形与其内部多边形的面积；1.2根据以下算式计算该外接矩形长边与短边的比例hwRatio：其中：heightrectangle和widthrectangle分别为该外接矩形的高和宽；1.3若areaRatio≥0.7且|hwRatio-1.5...

【专利技术属性】
技术研发人员：尹建伟，张柯飞，吴朝晖，邓水光，李莹，吴健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33