一种自然场景下身份证识别方法、装置、设备和介质制造方法及图纸

本发明专利技术提供一种自然场景下身份证识别方法、装置、设备和介质，方法包括接收输入的身份证图像，对身份证图像进行预处理；提取身份证图像中的纹理直线，拟合多组四边形区域，通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；截取身份证信息项的区域位置图像，将区域位置图像传入CRNN网络模型进行识别，返回识别结果。本发明专利技术优点：可以提高在各种自然场景下针对身份证定位的泛化能力，适用自然场景能力强，计算复杂小，识别精度高。

A method, device, device and medium of ID card recognition in natural scene

【技术实现步骤摘要】
一种自然场景下身份证识别方法、装置、设备和介质
本专利技术涉及计算机
，特别涉及一种自然场景下身份证识别方法、装置、设备和介质。
技术介绍
身份证，又称居民身份证，由每个国家或者地区政府发行给予证件持有者的最基本的法定证件。身份证是可以作为每位公民的独一无二的身份证明证件，在日常的生活中，用途最为广泛，使用场景也较多，如：出行买票、安检检查、业务办理等等。在自然场景下，单纯靠人工去检测核实身份证存在数量大、速度慢、误检率高等问题，如果利用机器去自动核实则方便许多，所以研发一种针对自然场景下，身份证定位、识别的方法极为重要。当然，现有技术中已存在有相关的身份证识别技术，目前常见的解决方案包括如下三种：第一种，申请日为2016.12.30，申请号为201611251750.1的中国专利技术专利公开了一种复杂背景下身份证号识别算法，该识别算法可以有效定位复杂图像中身份证的位置，并完成对身份证号的识别，然后通过区域中心直线拟合算法定位身份证上的身份证号位置，并实现字符分割，最后通过样本自生成算法生成大量不同尺度下的随机样本，并用生成的随机样本训练深度卷积神经网络，实现对身份证号码的识别。但是，该技术方案仅是对图像进行亮度和直线拟合处理，由于拍摄场景中直线干扰、边缘干扰对四边定位的影响甚大，因此，单纯靠亮度和直线拟合处理是很难断定拟合后的四边形是身份证，难以进行下一步操作；同时，该技术方案是直接利用标准字体库来生成字符集样本，而实际拍摄获取到的身份证的字符已经产生形变，因此，识别起来比较困难。第二种，申请日为2019.04.18，申请号为201910311448.8的中国专利技术专利公开了一种用于配合拍照场景的快速高精度身份证文本识别算法，该技术方案通过在字符分割中定位头像，提出了基于行或列投影的头像快速定位方法，比传统的基于连通域的头像定位方法具有更低的时间复杂度。但是，该技术方案是不管传输的图像大小及身份证所占比率，直接压缩为960*600固定尺寸的图片，这会对图片质量产生较大影响；同时，通过投影法定位头像存在有准确率低的问题。第三种，申请日为2017.12.20，申请号为201711388469.7的中国专利技术专利公开了一种基于人脸识别的身份证清晰度的判别方法和系统，该技术方案提供了一套高度自动化、高精度、高可靠性的身份证图片清晰度的检测应用程序，不仅节省了时间，更加克服了人工检测稳定性差、检测结果不可靠的弊端。但是，人脸检测的方法定位仅适用于读取身份证的正面信息，而在实际应用中，并不局限于读取身份证的正面信息，还需要读取反面信息进行识别鉴定。由上述可知，现有的身份证识别方法在自然场景下的定位识别准确率都较低，因此，亟需提供一种能够提高身份证定位识别的技术方案。
技术实现思路
本专利技术要解决的技术问题，在于提供一种自然场景下身份证识别方法、装置、设备和介质，解决现有身份证识别方法在自然场景下的定位识别准确率较低的问题。第一方面，本专利技术提供了一种自然场景下身份证识别方法，所述方法包括：接收输入的身份证图像，对身份证图像进行预处理操作；提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。进一步的，所述的对身份证图像进行预处理操作具体为：对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。进一步的，所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。进一步的，所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间；然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置。第二方面，本专利技术提供了一种自然场景下身份证识别装置，所述装置包括图像预处理模块、区域筛选模块、版面分析模块以及识别模块；所述图像预处理模块，用于接收输入的身份证图像，对身份证图像进行预处理操作；所述区域筛选模块，用于提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；所述版面分析模块，用于对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；所述识别模块，用于截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。进一步的，所述图像预处理模块具体为：对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。进一步的，所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。进一步的，所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边本文档来自技高网...

【技术保护点】
1.一种自然场景下身份证识别方法，其特征在于：所述方法包括：/n接收输入的身份证图像，对身份证图像进行预处理操作；/n提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；/n对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；/n截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。/n

【技术特征摘要】
1.一种自然场景下身份证识别方法，其特征在于：所述方法包括：
接收输入的身份证图像，对身份证图像进行预处理操作；
提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；
对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；
截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。


2.根据权利要求1所述的一种自然场景下身份证识别方法，其特征在于：所述的对身份证图像进行预处理操作具体为：
对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。


3.根据权利要求1所述的一种自然场景下身份证识别方法，其特征在于：所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。


4.根据权利要求1所述的一种自然场景下身份证识别方法，其特征在于：所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间；然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置。


5.一种自然场景下身份证识别装置，其特征在于：所述装置包括图像预处理模块、区域筛选模块、版面分析模块以及识别模块；
所述图像预处理模块，用于接收输入的身份证图像，对身份证图像进行预处理操作；
所述区域...

【专利技术属性】
技术研发人员：袁蔡友，蓝立强，申心兰，张登峰，林志伟，
申请(专利权)人：福建升腾资讯有限公司，
类型：发明
国别省市：福建;35