证卡信息识别及其边缘检测模型训练方法、装置制造方法及图纸

本发明专利技术公开了证卡信息识别方法及装置、边缘检测模型训练方法及装置、电子设备、存储介质。所述证卡信息识别方法包括：将待识别证卡的证卡图片输入边缘检测模型，其中，所述边缘检测模型采用不同类型的证卡的证卡图片样本训练完成；经所述边缘检测模型对输入的证卡图片进行边缘检测，得到证卡边缘信息，并根据所述证卡边缘信息确定所述证卡图片中的证卡区域；使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配，以定位所述证卡区域中的文本识别子区域；对所述文本识别子区域进行文本识别，以提取证卡信息。从而，实现了对不同类型的证卡的证卡信息的识别，无需针对每种类型的证卡训练一个识别模型。

Card information recognition and its edge detection model training method and device

【技术实现步骤摘要】
证卡信息识别及其边缘检测模型训练方法、装置
本专利技术涉及信息处理
，特别涉及证卡信息识别方法及装置、边缘检测模型训练方法及装置、电子设备、存储介质。
技术介绍
随着图片文本识别技术的准确率的不断提升，其越来越多的被应用于对证件、票证等证卡图片的文本识别，以提取证卡中的信息。目前，对于不同类型的证卡信息识别，需要针对每类证卡训练一个识别模型，浪费人力又浪费算力。另外，为了排除证卡图片的背景区域对证卡信息识别的干扰，进行证卡信息识别之前，需要对获取的证卡图片进行边缘检测，以获得证卡边缘图片。目前常使用的边缘检测模型会识别出图片中所有的线条，而大部分线条并不是图中证件的边缘，其会干扰证卡边缘图片的提取，从而影响对证卡图片进行信息识别的效率和准确率。
技术实现思路
本专利技术提供一种效率高、准确率高且可对不同类型证件进行证件信息识别的证卡信息识别方法及装置、边缘检测模型训练方法及装置、电子设备、存储介质。具体地，本专利技术是通过如下技术方案实现的：第一方面，提供一种证卡信息识别方法，所述证卡信息识别方法包括：将待识别证卡的证卡图片输入边缘检测模型，其中，所述边缘检测模型采用不同类型的证卡的证卡图片样本训练完成；经所述边缘检测模型对输入的证卡图片进行边缘检测，得到证卡边缘信息，并根据所述证卡边缘信息确定所述证卡图片中的证卡区域；使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配，以定位所述证卡区域中的文本识别子区域；对所述文本识别子区域进行文本识别，以提取证卡信息。可选地，采用不同类型的证卡的证卡图片样本训练所述边缘检测模型，包括：获取不同类型的证卡的证卡图片样本，所述证卡图片样本标注有证卡边缘标注信息；从所述证卡图片样本中提取证卡边缘图片，并将获取的证卡边缘图片嵌入至其他背景图片中，得到标注有证卡边缘标注信息的合成图片；将所述证卡图片样本和所述合成图片作为训练样本迭代训练神经网络；确定每次迭代过程中所述神经网络输出的证卡边缘预测信息与所述证卡边缘标注信息之间的差异；基于所述差异调整所述神经网络的网络参数，直至满足训练停止条件时结束训练，得到所述边缘检测模型。可选地，将获取的证卡边缘图片嵌入至其他背景图片中之后，还包括：根据所述其他背景图片的图片参数调整所述证卡边缘图片的图片参数。可选地，所述图片参数包括以下参数中的至少一种：像素值、亮度、色彩深度。可选地，所述证卡边缘信息包括：多个点坐标；根据所述证卡边缘信息确定所述证卡图片中的证卡区域，包括：对所述多个点坐标进行霍夫变换得到多条线段；将所述多条线段中倾斜角的差值小于倾斜角阈值，且线段间距小于间距阈值的两条线段合并；根据合并后的线段确定所述证卡区域。可选地，使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配之前，包括：将所述待识别证卡的证卡图片输入证件类型识别模型，其中，所述证件类型识别模型采用包含证件类型标注信息的证卡图片训练完成；经所述证件类型识别模型对输入的证卡图片进行特征提取，并根据所述特征确定所述待识别证卡的类型，以获取与所述待识别证卡的类型相同的证卡的证卡模板。可选地，使用与所述证卡模板，对所述证卡区域进行模板匹配之前，还包括：根据所述证卡模板对所述证卡区域进行倾斜矫正和/或尺寸矫正。第二方面，提供一种边缘检测模型的训练方法，所述训练方法包括：获取不同类型的证卡的证卡图片样本，所述证卡图片样本标注有边缘标注信息；从所述证卡图片样本中提取证卡边缘图片，并将获取的证卡边缘图片嵌入至其他背景图片中，得到标注有证卡边缘标注信息的合成图片；将所述证卡图片样本和所述合成图片作为训练样本迭代训练神经网络；确定每次迭代过程中所述神经网络输出的证卡边缘预测信息与所述证卡边缘标注信息之间的差异；基于所述差异调整所述神经网络的网络参数，直至满足训练停止条件时结束训练，得到所述边缘检测模型。第三方面，提供一种证卡信息识别装置，所述证卡信息识别装置包括：输入模块，用于将待识别证卡的证卡图片输入边缘检测模型，其中，所述边缘检测模型采用不同类型的证卡的证卡图片样本训练完成；确定模块，用于经所述边缘检测模型对输入的证卡图片进行边缘检测，得到证卡边缘信息，并根据所述证卡边缘信息确定所述证卡图片中的证卡区域；匹配模块，用于使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配，以定位所述证卡区域中的文本识别子区域；文本识别模块，用于对所述文本识别子区域进行文本识别，以提取证卡信息。第四方面，提供一种边缘检测模型的训练装置，所述训练装置包括：获取模块，用于获取不同类型的证卡的证卡图片样本，所述证卡图片样本标注有边缘标注信息；图片合成模块，用于从所述证卡图片样本中提取证卡边缘图片，并将获取的证卡边缘图片嵌入至其他背景图片中，得到标注有证卡边缘标注信息的合成图片；模型训练模块，用于将所述证卡图片样本和所述合成图片作为训练样本迭代训练神经网络；参数调整模块，用于确定每次迭代过程中所述神经网络输出的证卡边缘预测信息与所述证卡边缘标注信息之间的差异，并基于所述差异调整所述神经网络的网络参数，直至满足训练停止条件时结束训练，得到所述边缘检测模型。第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一项所述的证卡信息识别方法。第六方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的边缘检测模型的训练方法。本专利技术的实施例提供的技术方案可以包括以下有益效果：本专利技术实施例中，实现了对不同类型的证卡信息识别，无需针对每种类型的证卡训练一个识别模型。且边缘检测模型采用不同类型的证卡的证卡图片样本训练得到，能够精确识别图片中的证卡区域，提高证卡信息识别的准确率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本专利技术一示例性实施例示出的一种证卡信息识别方法的流程图；图2是本专利技术一示例性实施例示出的对证卡图片进行边缘检测的结果示意图；图3是本专利技术一示例性实施例示出的对证卡区域进行模板匹配后的结果示意图；图4是本专利技术一示例性实施例示出的图1中根据证卡边缘信息确定证卡图片中的证卡区域的步骤的具体流程图；图5是本专利技术一示例性实施例示出的对线段进行合并的示意图；图6是本专利技术一示例性实施例示出的确定待识别证卡的类型的本文档来自技高网...

【技术保护点】
1.一种证卡信息识别方法，其特征在于，所述证卡信息识别方法包括：/n将待识别证卡的证卡图片输入边缘检测模型，其中，所述边缘检测模型采用不同类型的证卡的证卡图片样本训练完成；/n经所述边缘检测模型对输入的证卡图片进行边缘检测，得到证卡边缘信息，并根据所述证卡边缘信息确定所述证卡图片中的证卡区域；/n使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配，以定位所述证卡区域中的文本识别子区域；/n对所述文本识别子区域进行文本识别，以提取证卡信息。/n

【技术特征摘要】
1.一种证卡信息识别方法，其特征在于，所述证卡信息识别方法包括：
将待识别证卡的证卡图片输入边缘检测模型，其中，所述边缘检测模型采用不同类型的证卡的证卡图片样本训练完成；
经所述边缘检测模型对输入的证卡图片进行边缘检测，得到证卡边缘信息，并根据所述证卡边缘信息确定所述证卡图片中的证卡区域；
使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配，以定位所述证卡区域中的文本识别子区域；
对所述文本识别子区域进行文本识别，以提取证卡信息。


2.如权利要求1所述的证卡信息识别方法，其特征在于，采用不同类型的证卡的证卡图片样本训练所述边缘检测模型，包括：
获取不同类型的证卡的证卡图片样本，所述证卡图片样本标注有证卡边缘标注信息；
从所述证卡图片样本中提取证卡边缘图片，并将获取的证卡边缘图片嵌入至其他背景图片中，得到标注有证卡边缘标注信息的合成图片；
将所述证卡图片样本和所述合成图片作为训练样本迭代训练神经网络；
确定每次迭代过程中所述神经网络输出的证卡边缘预测信息与所述证卡边缘标注信息之间的差异；
基于所述差异调整所述神经网络的网络参数，直至满足训练停止条件时结束训练，得到所述边缘检测模型。


3.如权利要求2所述的证卡信息识别方法，其特征在于，将获取的证卡边缘图片嵌入至其他背景图片中之后，还包括：
根据所述其他背景图片的图片参数调整所述证卡边缘图片的图片参数。


4.如权利要求3所述的证卡信息识别方法，其特征在于，所述图片参数包括以下参数中的至少一种：
像素值、亮度、色彩深度。


5.如权利要求1所述的证卡信息识别方法，其特征在于，所述证卡边缘信息包括：多个点坐标；
根据所述证卡边缘信息确定所述证卡图片中的证卡区域，包括：
对所述多个点坐标进行霍夫变换得到多条线段；
将所述多条线段中倾斜角的差值小于倾斜角阈值，且线段间距小于间距阈值的两条线段合并；
根据合并后的线段确定所述证卡区域。


6.如权利要求1所述的证卡信息识别方法，其特征在于，使用与所述待识别证卡的类型相同的证卡的证卡模板，对所述证卡区域进行模板匹配之前，包括：
将所述待识别证卡的证卡图片输入证件类型识别模型，其中，所述证件类型识别模型采用包含证件类型标注信息的证卡图片训练完成；
经所述证件类型识别模型对输入的证卡图片进行特征提取，并根据所述特征确定所述待识别证卡的类型，以获取与所述待识别证卡的类型相同的证卡的证卡模板。


7.如权利要求1所述的证卡信息...

【专利技术属性】
技术研发人员：魏良宵，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：浙江;33