本发明专利技术公开了一种图像识别方法及其装置、电子设备、计算机可读存储介质。其中，该识别方法包括：获取待处理的目标发票图像，提取目标发票图像中的图像特征，得到特征映射图，将预先分析的文本边界框与特征映射图进行融合处理，得到文本区域特征，基于文本区域特征，识别文本边界框内的文本序列，得到文本识别结果，基于文本边界框和文本识别结果，输出图像识别结果。本发明专利技术解决了相关技术中由于各种类型发票的识别模板不统一，导致识别发票图像上的信息的准确度较低的技术问题。息的准确度较低的技术问题。息的准确度较低的技术问题。
【技术实现步骤摘要】
图像识别方法及其装置、电子设备、计算机可读存储介质
[0001]本专利技术涉及图像处理
，具体而言，涉及一种图像识别方法及其装置、电子设备、计算机可读存储介质。
技术介绍
[0002]随着越来越多的主体对象(例如，企业)推进全球化经营，主体对象对于境外发票的自动化识别有着迫切的应用需求，如何实现对境外发票进行自动化识别成为众多主体对象关注的热点研究。现有的发票管理受技术限制，一般是通过人工方式进行数据录入和校对，不仅耗费大量人力和时间，而且效率和准确率低下。相关技术中，现有的OCR(Optical Character Recognition)技术通过文本定位、单字切割和分类任务进行识别，适用于文本工整、布局规范的识别场景，而不适用于表格结构与自然场景下的图像文本检测识别。然而，境外发票具有种类多、文本尺度不一致、票据布局不一致的特点，无法适用一个统一的识别模板，现有的OCR技术对境外发票的识别准确率受限。
[0003]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本专利技术实施例提供了一种图像识别方法及其装置、电子设备、计算机可读存储介质，以至少解决相关技术中由于各种类型发票的识别模板不统一，导致识别发票图像上的信息的准确度较低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种图像识别方法，包括：获取待处理的目标发票图像；提取所述目标发票图像中的图像特征，得到特征映射图；将预先分析的文本边界框与所述特征映射图进行融合处理，得到文本区域特征；基于所述文本区域特征，识别所述文本边界框内的文本序列，得到文本识别结果；基于所述文本边界框和所述文本识别结果，输出图像识别结果，其中，所述图像识别结果中至少包括：发票文本信息。
[0006]可选地，在提取所述目标发票图像中的图像特征，得到特征映射图之前，所述识别方法还包括：对所述目标发票图像进行预处理操作，其中，所述预处理操作包括下述至少之一：直方图均衡化、图像标准化、归一化、噪声去除、倾斜矫正。
[0007]可选地，提取所述目标发票图像中的图像特征，得到特征映射图的步骤，包括：按照预设比例将所述目标发票图像进行缩放处理；将缩放后的所述目标发票图像输入至深度学习神经网络中，以采用所述深度学习神经网络提取图像特征，得到所述特征映射图，其中，所述深度学习神经网络包括多个网络层，所述多个网络层包括下述至少之一：卷积层、池化层、图形标准构建层。
[0008]可选地，在提取所述目标发票图像中的图像特征，得到特征映射图之后，所述识别方法还包括：采用角点检测器检测所述目标发票图像中的文本角点；对所述文本角点进行组合，生成候选边界框；采用位置敏感分割器对所述目标发票图像中的文本区域进行分割，得到文本分割图；采用所述文本分割图消除出现非文本信息的候选边界框，得到具备文本
信息的文本边界框。
[0009]可选地，采用角点检测器检测所述目标发票图像中的文本角点的步骤，包括：确定每个角点检测得分分支的第一损失函数、每个角点检测偏移分支的第二损失函数以及每个位置分割图的第三损失函数；分析所述目标发票图像中的显示框的数量以及特征映射图中的像素数量；基于所述第一损失函数以及对应的第一权重、所述第二损失函数以及对应的第二权重、所述第三损失函数以及对应的第三权重、所述显示框的数量以及像素数量，确定文本定位参数；基于所述文本定位参数，确定所述目标发票图像中的文本角点。
[0010]可选地，采用位置敏感分割器对所述目标发票图像中的文本区域进行分割，得到文本分割图的步骤，包括：将所述目标发票图像中的文本区域划分为多个文本分块；对每个所述文本分块进行分析，以确定每个文本分割图所属的文本分块。
[0011]可选地，将预先分析的文本边界框与所述特征映射图进行融合处理，得到文本区域特征的步骤，包括：通过文本区域的标注坐标计算仿射变换参数；基于所述仿射变换参数，分别对共享特征的每个文本区域做仿射变换，得到文本区域的水平特征映射；基于所述水平特征映射，生成文本区域特征。
[0012]可选地，基于所述文本区域特征，识别所述文本边界框内的文本序列，得到文本识别结果的步骤，包括：将所述文本区域特征输入至文本识别分支，基于循环神经网络和时序分类模型CTC，对所述文本边界框内的文本序列进行编码和解码，得到文本识别结果。
[0013]可选地，将所述文本区域特征输入至文本识别分支，以识别所述文本边界框内的文本序列，得到文本识别结果的步骤，包括：将所述文本区域特征输入至循环神经网络，以识别所述文本边界框内每个字符，得到每个所述字符上的分布；通过时序分类模型CTC将每个所述字符上的分布转化为标签序列，以确定所述文本边界框内的文本序列。
[0014]根据本专利技术实施例的另一方面，还提供了一种图像识别装置，包括：获取单元，用于获取待处理的目标发票图像；提取单元，用于提取所述目标发票图像中的图像特征，得到特征映射图；处理单元，用于将预先分析的文本边界框与所述特征映射图进行融合处理，得到文本区域特征；识别单元，用于基于所述文本区域特征，识别所述文本边界框内的文本序列，得到文本识别结果；输出单元，用于基于所述文本边界框和所述文本识别结果，输出图像识别结果，其中，所述图像识别结果中至少包括：发票文本信息。
[0015]可选地，所述识别装置法还包括：第一处理模块，用于在提取所述目标发票图像中的图像特征，得到特征映射图之前，对所述目标发票图像进行预处理操作，其中，所述预处理操作包括下述至少之一：直方图均衡化、图像标准化、归一化、噪声去除、倾斜矫正。
[0016]可选地，所述提取单元包括：第一缩放模块，用于按照预设比例将所述目标发票图像进行缩放处理；第一提取模块，用于将缩放后的所述目标发票图像输入至深度学习神经网络中，以采用所述深度学习神经网络提取图像特征，得到所述特征映射图，其中，所述深度学习神经网络包括多个网络层，所述多个网络层包括下述至少之一：卷积层、池化层、图形标准构建层。
[0017]可选地，所述识别装置还包括：第一采集模块，用于在提取所述目标发票图像中的图像特征，得到特征映射图之后，采用角点检测器检测所述目标发票图像中的文本角点；第一生成模块，用于对所述文本角点进行组合，生成候选边界框；第一分割模块，用于采用位置敏感分割器对所述目标发票图像中的文本区域进行分割，得到文本分割图；第一消除模
块，用于采用所述文本分割图消除出现非文本信息的候选边界框，得到具备文本信息的文本边界框。
[0018]可选地，所述第一采集模块包括：第一确定子模块，用于确定每个角点检测得分分支的第一损失函数、每个角点检测偏移分支的第二损失函数以及每个位置分割图的第三损失函数；第一分析子模块，用于分析所述目标发票图像中的显示框的数量以及特征映射图中的像素数量；第一计算子模块，用于基于所述第一损失函数以及对应的第一权重、所述第二损失函数以及对应的第二权重、所述第三损失函数以及对应的第三权重、所述显示框的数量以及像素数量，确定文本定位参数；本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：获取待处理的目标发票图像；提取所述目标发票图像中的图像特征，得到特征映射图；将预先分析的文本边界框与所述特征映射图进行融合处理，得到文本区域特征；基于所述文本区域特征，识别所述文本边界框内的文本序列，得到文本识别结果；基于所述文本边界框和所述文本识别结果，输出图像识别结果，其中，所述图像识别结果中至少包括：发票文本信息。2.根据权利要求1所述的识别方法，其特征在于，在提取所述目标发票图像中的图像特征，得到特征映射图之前，所述识别方法还包括：对所述目标发票图像进行预处理操作，其中，所述预处理操作包括下述至少之一：直方图均衡化、图像标准化、归一化、噪声去除、倾斜矫正。3.根据权利要求1所述的识别方法，其特征在于，提取所述目标发票图像中的图像特征，得到特征映射图的步骤，包括：按照预设比例将所述目标发票图像进行缩放处理；将缩放后的所述目标发票图像输入至深度学习神经网络中，以采用所述深度学习神经网络提取图像特征，得到所述特征映射图，其中，所述深度学习神经网络包括多个网络层，所述多个网络层包括下述至少之一：卷积层、池化层、图形标准构建层。4.根据权利要求1所述的识别方法，其特征在于，在提取所述目标发票图像中的图像特征，得到特征映射图之后，所述识别方法还包括：采用角点检测器检测所述目标发票图像中的文本角点；对所述文本角点进行组合，生成候选边界框；采用位置敏感分割器对所述目标发票图像中的文本区域进行分割，得到文本分割图；采用所述文本分割图消除出现非文本信息的候选边界框，得到具备文本信息的文本边界框。5.根据权利要求4所述的识别方法，其特征在于，采用角点检测器检测所述目标发票图像中的文本角点的步骤，包括：确定每个角点检测得分分支的第一损失函数、每个角点检测偏移分支的第二损失函数以及每个位置分割图的第三损失函数；分析所述目标发票图像中的显示框的数量以及特征映射图中的像素数量；基于所述第一损失函数以及对应的第一权重、所述第二损失函数以及对应的第二权重、所述第三损失函数以及对应的第三权重、所述显示框的数量以及像素数量，确定文本定位参数；基于所述文本定位参数，确定所述目标发票图像中的文本角点。6.根据权利要求4所述的识别方法，其特征在于，采用位置敏感分割器对所述目标发票图像中的文本区域进行分...
【专利技术属性】
技术研发人员：舒文婷，瞿伟，汤琦，于锐，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。