证照信息识别方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种证照信息识别方法、装置、设备及介质，该方法通过获取待识别的证照图像对应的模板图像，根据模板图像中的锚点字段与证照图像中的文字内容的匹配结果，计算模板图像与证照图像之间的单应性变换矩阵，进而根据单应性变换矩阵在证照图像中确定与模板图像的待识别区域所对应的字段内容，通过该字段内容以及模板图像中的键值对关系，确定证照图像的键值对输出结果，实现了证照图像中的键值对信息的自动提取，进而实现了证照中结构化信息的自动获取，解决了现有技术无法获取证照的结构化信息的技术问题。的结构化信息的技术问题。的结构化信息的技术问题。

【技术实现步骤摘要】
证照信息识别方法、装置、设备及介质


[0001]本专利技术涉及光学字符识别
，尤其涉及一种证照信息识别方法、装置、设备及介质。

技术介绍

[0002]光学字符识别技术(Optical Character Recognition，OCR)，是指将图像中的文字进行定位与识别，翻译成计算机文字，以供后续文字处理模块进一步编辑加工。
[0003]一般的OCR给出往往是按行识别的结果，但是在许多应用场景中，仅提取出图片中的文字信息是不足以满足业务需求的，尤其实在证照、票据类的识别应用中，用户更需要带有字段定义的结构化表示，即key
‑
value形式的结构化数据。因此，现有技术存在无法获取证照中的结构化信息的技术缺陷。

技术实现思路

[0004]本专利技术提供了一种证照信息识别方法、装置、设备及介质，以获取证照图像中的键值对信息，解决现有技术无法获取证照图像中的结构化信息的技术问题。
[0005]根据本专利技术的一方面，提供了一种证照信息识别方法，该方法包括：
[0006]确定待识别的证照图像，获取所述证照图像对应的模板图像，其中，所述模板图像包括锚点字段、待识别区域以及所述待识别区域对应的键值对关系；
[0007]基于所述锚点字段与所述证照图像中的文字内容的匹配结果，计算所述证照图像与所述模板图像之间的单应性变换矩阵；
[0008]基于所述单应性变换矩阵，确定在所述证照图像中所述待识别区域对应的字段内容；
[0009]基于所述字段内容以及所述键值对关系，确定所述证照图像的键值对输出结果。
[0010]可选的，所述方法还包括：
[0011]基于预先训练的目标检测模型对所述证照图像进行切割，以使切割后的所述证照图像仅包括证照区域；
[0012]基于预先训练的文字提取模型，获取所述证照图像中的文字内容。
[0013]可选的，在所述基于预先训练的目标检测模型对所述证照图像进行切割之前，所述方法还包括：
[0014]基于所述目标检测模型确定所述证照区域在所述证照图像中的比例；
[0015]若所述证照区域在所述证照图像中的比例满足预设阈值，则执行基于所述目标检测模型对所述证照图像进行切割的操作。
[0016]可选的，在所述基于预先训练的目标检测模型对所述证照图像进行切割之后，所述方法还包括：
[0017]基于预先训练的文字检测模型，确定所述证照图像中的各个文字区域；
[0018]基于预先训练的文字角度分类模型，确定各所述文字区域对应的方向，基于各所
述文字区域对应的方向确定所述证照图像对应的方向；
[0019]若所述证照图像对应的方向不满足预设朝向条件，则对所述证照图像进行旋转处理。
[0020]可选的，所述获取所述证照图像对应的模板图像，包括：
[0021]基于所述目标检测模型确定所述证照图像对应的证照类型；
[0022]获取所述证照类型对应的模板图像，将所述证照类型对应的模板图像作为所述证照图像对应的模板图像。
[0023]可选的，所述基于所述锚点字段与所述证照图像中的文字内容的匹配结果，计算所述证照图像与所述模板图像之间的单应性变换矩阵，包括：
[0024]确定各锚点字段对应的字段内容；
[0025]基于各所述锚点字段对应的字段内容以及所述证照图像中的文字内容，确定所述证照图像中的各锚点匹配区域；
[0026]基于各所述锚点字段中的坐标点以及各所述锚点匹配区域中的坐标点，计算所述证照图像与所述模板图像之间的单应性变换矩阵。
[0027]可选的，所述基于所述单应性变换矩阵，确定在所述证照图像中所述待识别区域对应的字段内容，包括：
[0028]基于所述单应性变换矩阵以及所述模板图像中的各待识别区域，确定所述证照图像中与各所述待识别区域匹配的区域；
[0029]基于所述证照图像中与各所述待识别区域匹配的区域的文字内容，确定所述待识别区域对应的字段内容。
[0030]根据本专利技术的另一方面，提供了一种证照信息识别装置，所述装置包括：
[0031]模板获取模块，用于确定待识别的证照图像，获取所述证照图像对应的模板图像，其中，所述模板图像包括锚点字段、待识别区域以及所述待识别区域对应的键值对关系；
[0032]矩阵计算模块，用于基于所述锚点字段与所述证照图像中的文字内容的匹配结果，计算所述证照图像与所述模板图像之间的单应性变换矩阵；
[0033]字段识别模块，用于基于所述单应性变换矩阵，确定在所述证照图像中所述待识别区域对应的字段内容；
[0034]键值对输出模块，用于基于所述字段内容以及所述键值对关系，确定所述证照图像的键值对输出结果。
[0035]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0036]至少一个处理器；以及
[0037]与所述至少一个处理器通信连接的存储器；其中，
[0038]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的证照信息识别方法。
[0039]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的证照信息识别方法。
[0040]本专利技术实施例的技术方案，通过获取待识别的证照图像对应的模板图像，根据模
板图像中的锚点字段与证照图像中的文字内容的匹配结果，计算模板图像与证照图像之间的单应性变换矩阵，进而根据单应性变换矩阵在证照图像中确定与模板图像的待识别区域所对应的字段内容，通过该字段内容以及模板图像中的键值对关系，确定证照图像的键值对输出结果，实现了证照图像中的键值对信息的自动提取，进而实现了证照中结构化信息的自动获取，解决了现有技术无法获取证照的结构化信息的技术问题。
[0041]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0042]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1A是本专利技术实施例一提供的一种证照信息识别方法的流程示意图；
[0044]图1B是本专利技术实施例一提供的一种模板图像的示意图；
[0045]图2A是本专利技术实施例二提供的一种证照信息识别方法的流程示意图；
[0046]图2B是本专利技术实施例二提供的不满足预设朝向条件的证照图像；
[0047]图3是本专利技术实施例三提供的一种证照信息识别方法的流程示意图；...

【技术保护点】

【技术特征摘要】
1.一种证照信息识别方法，其特征在于，包括：确定待识别的证照图像，获取所述证照图像对应的模板图像，其中，所述模板图像包括锚点字段、待识别区域以及所述待识别区域对应的键值对关系；基于所述锚点字段与所述证照图像中的文字内容的匹配结果，计算所述证照图像与所述模板图像之间的单应性变换矩阵；基于所述单应性变换矩阵，确定在所述证照图像中所述待识别区域对应的字段内容；基于所述字段内容以及所述键值对关系，确定所述证照图像的键值对输出结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于预先训练的目标检测模型对所述证照图像进行切割，以使切割后的所述证照图像仅包括证照区域；基于预先训练的文字提取模型，获取所述证照图像中的文字内容。3.根据权利要求2所述的方法，其特征在于，在所述基于预先训练的目标检测模型对所述证照图像进行切割之前，所述方法还包括：基于所述目标检测模型确定所述证照区域在所述证照图像中的比例；若所述证照区域在所述证照图像中的比例满足预设阈值，则执行基于所述目标检测模型对所述证照图像进行切割的操作。4.根据权利要求2所述的方法，其特征在于，在所述基于预先训练的目标检测模型对所述证照图像进行切割之后，所述方法还包括：基于预先训练的文字检测模型，确定所述证照图像中的各个文字区域；基于预先训练的文字角度分类模型，确定各所述文字区域对应的方向，基于各所述文字区域对应的方向确定所述证照图像对应的方向；若所述证照图像对应的方向不满足预设朝向条件，则对所述证照图像进行旋转处理。5.根据权利要求2所述的方法，其特征在于，所述获取所述证照图像对应的模板图像，包括：基于所述目标检测模型确定所述证照图像对应的证照类型；获取所述证照类型对应的模板图像，将所述证照类型对应的模板图像作为所述证照图像对应的模板图像。6.根据权利要求2所述的方法，其特征在于，所述基于所述锚点字段与所述证照图像中的文字内容的匹配结果，计算所述证照图像与...

【专利技术属性】
技术研发人员：施胜杰，
申请(专利权)人：国泰新点软件股份有限公司，
类型：发明
国别省市：