一种卡证中文字的识别方法、装置以及计算设备制造方法及图纸

本发明专利技术公开了一种卡证中文字的识别方法、装置以及计算设备。识别方法包括：获取卡证图像，所述卡证图像中包括至少一个类别的文字序列；利用第一目标检测模型，从所述卡证图像中获取各类别的文字序列图像，得到至少一个第一文字序列图像；对每个第一文字序列图像进行分块二值化处理，得到对应的第二文字序列图像；利用第二目标检测模型，从第二文字序列图像中获取单字图像；对于从第二文字序列图像获取的每个单字图像，识别该单字图像中的文字信息。

A Method, Device and Computing Device for Character Recognition in Card

The invention discloses a method, a device and a calculating device for recognizing Chinese characters in card certificates. Recognition methods include: acquiring card image, which includes at least one category of text sequence; using the first target detection model, acquiring various types of text sequence images from the card image, and obtaining at least one first text sequence image; dividing each first text sequence image into blocks and binarizing it to obtain the corresponding second text sequence image. For each word image acquired from the second word sequence image, the text information of the word image is recognized.

【技术实现步骤摘要】
一种卡证中文字的识别方法、装置以及计算设备
本专利技术涉及图像处理
，尤其是一种卡证中文字的识别方法、装置以及计算设备。
技术介绍
随着互联网技术的发展，不论是在汽车金融、二手车交易等业务中，还是在以网上支付为主导的电子商务平台上，都涉及大量银行卡或证件文字信息录入工作。而卡证信息的自动读取，能够代替大量繁琐的人工录入，可以有效提高信息录入效率，节省管理成本。同时，高精度的卡证中文字信息识别，能够将用户信息准确的读取到计算机系统中，提高互联网业务的服务质量，为客户带来良好的用户体验，因此有着重要的研究意义。卡证中结构化信息的提取一般包括文字区域检测和文字识别两个步骤，先通过文字区域检测提取卡证中各种信息类别(例如行驶证中的号牌号码、车辆类型、所有人等)对应的文字区域，再对提取的各文字区域进行文字识别。在现有的卡证中文字信息识别方案中，证件的文字区域检测主要包括：先采用基于边缘、纹理的方法提取出所有文字区域，再通过版面分析的方法确定各个信息类别所分别对应的文字区域。确定出各个信息类别分别对应的文字区域后，采用垂直投影法将一行文字进行单字分割，再将分割好的单字进行识别，识别一般采用基于模版匹配或神经网络的方法。卡证图像一般是通过扫描或者拍照得到，所得到的卡证图像清晰度、规整度未必能够满足识别要求，例如在拍照情形下，由于拍照角度、光照不均匀、拍照模糊、字符遮挡等复杂背景的影响，会使对卡证图像中文字信息的识别精度大大降低。
技术实现思路
为此，本专利技术提供了一种卡证中文字的识别方法及装置，以力图解决或至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供一种卡证中文字的识别方法，在计算设备中执行，包括如下步骤：获取卡证图像，所述卡证图像中包括至少一个类别的文字序列；利用第一目标检测模型，从所述卡证图像中获取各类别的文字序列图像，得到至少一个第一文字序列图像；对每个第一文字序列图像进行分块二值化处理，得到对应的第二文字序列图像；利用第二目标检测模型，从第二文字序列图像中获取单字图像；以及对于从第二文字序列图像获取的每个单字图像，识别该单字图像中的文字信息。可选地，根据本专利技术的卡证中文字的识别方法中，进行分块二值化处理的步骤包括：将第一文字序列图像划分为多个图像分块，并计算各图像分块的二值化阈值；以及对于每个图像分块，根据对应的二值化阈值对该图像分块进行二值化处理。可选地，根据本专利技术的卡证中文字的识别方法中，将第一文字序列图像划分为多个图像分块的步骤包括：获取第一文字序列图像的宽度(w)和高度(h)以及根据所述宽度(w)和高度(h)，将第一文字序列图像的宽度方向分为份，高度方向分为2份，得到个图像分块。可选地，根据本专利技术的卡证中文字的识别方法中，识别该单字图像中的文字信息的步骤包括：根据所述单字图像在所述第二文字序列图像中的位置，从所述第一文字序列图像的相同位置处获取原始单字图像；对所述原始单字图像进行二值化处理，得到二值化单字图像；以及利用文字识别模型，将所述二值化单字图像识别为单字符。可选地，根据本专利技术的卡证中文字的识别方法中，文字识别模型采用深度卷积神经网络ResNets。可选地，根据本专利技术的卡证中文字的识别方法中，识别该单字图像中的文字信息的步骤还包括：将所述第二文字序列图像中包括的所有单字图像对应的多个单字符，组合为结构化信息。可选地，根据本专利技术的卡证中文字的识别方法，所述文字序列的类别包括如下至少之一：号牌号码、车辆类型、所有人、住址、使用性质、品牌型号、车辆识别代号、发动机号码、日期。可选地，根据本专利技术的卡证中文字的识别方法中，获取卡证图像的步骤包括：利用第三目标检测模型，从原始卡证图像中提取所述卡证图像。可选地，根据本专利技术的卡证中文字的识别方法中，第一、二、三目标检测模型采用深度卷积神经网络FasterR-CNN。根据本专利技术的另一个方面，提供一种计算设备，包括：一个或多个处理器；存储器；和一个或多个程序，其中，一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括执行上述卡证中文字的识别方法的指令。根据本专利技术的又一个方面，还提供了一种存储有一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，当该程序指令被计算设备执行时，使得计算设备执行上述卡证中文字的识别方法。根据本专利技术的卡证中文字的识别方案，利用三个目标检测模型对卡证图像进行多次切割，在图像清晰度、规整度不高时，仍然可以对图像中的文字信息进行高精度的识别。根据一种可选的实现方案，通过对图像进行分块二值化处理并获取单字图像后，从原始图像中获取该单字图像对应的原始单字图像，再对原始单字图像进行二值化处理后进行文字识别，能够进一步提高文字识别的准确率。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个实施例的计算设备100的构造示意图；图2示出了根据本专利技术一个实施例的卡证中文字的识别方法200的流程图；图3示出了通过FasterR-CNN从原始的行驶证图像提取行驶证证件图像的示例图；图4示出了行驶证证件图像包括的各类别文字序列图像的示例图；以及图5示出了通过FasterR-CNN从文字序列图像获取单字图像的示例图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式本文档来自技高网...

【技术保护点】
1.一种卡证中文字的识别方法，在计算设备中执行，并包括如下步骤：获取卡证图像，所述卡证图像中包括至少一个类别的文字序列；利用第一目标检测模型，从所述卡证图像中获取各类别的文字序列图像，得到至少一个第一文字序列图像；对每个第一文字序列图像进行分块二值化处理，得到对应的第二文字序列图像；利用第二目标检测模型，从第二文字序列图像中获取单字图像；以及对于从第二文字序列图像获取的每个单字图像，识别该单字图像中的文字信息。

【技术特征摘要】
1.一种卡证中文字的识别方法，在计算设备中执行，并包括如下步骤：获取卡证图像，所述卡证图像中包括至少一个类别的文字序列；利用第一目标检测模型，从所述卡证图像中获取各类别的文字序列图像，得到至少一个第一文字序列图像；对每个第一文字序列图像进行分块二值化处理，得到对应的第二文字序列图像；利用第二目标检测模型，从第二文字序列图像中获取单字图像；以及对于从第二文字序列图像获取的每个单字图像，识别该单字图像中的文字信息。2.如权利要求1所述的方法，其中，所述进行分块二值化处理的步骤包括：将第一文字序列图像划分为多个图像分块，并计算各图像分块的二值化阈值；对于每个图像分块，根据对应的二值化阈值对该图像分块进行二值化处理。3.如权利要求2所述的方法，其中，所述将第一文字序列图像划分为多个图像分块的步骤包括：获取第一文字序列图像的宽度w和高度h；根据所述宽度w和高度h，将第一文字序列图像的宽度方向分为份，高度方向分为2份，得到个图像分块。4.如权利要求1或2所述的方法，其中，所述识别该单字图像中的文字信息的步骤包括：根据所述单字图像在所述第二文字序列图像中的位置，从所述第一文字序列图像的相同位置处获取原始单字图像...

【专利技术属性】
技术研发人员：黄萧，刘荣，徐丞申，喻杰，李林，
申请(专利权)人：天津车之家数据信息技术有限公司，
类型：发明
国别省市：天津,12