图像识别方法以及装置制造方法及图纸

本说明书实施例提供图像识别方法以及装置，其中所述图像识别方法包括：获取目标凭证图像；将目标凭证图像输入凭证识别模型，通过凭证识别模型的编码单元对目标凭证图像进行编码，获得图像布局特征以及字符特征，通过凭证识别模型的解码单元对图像布局特征和字符特征进行融合，对融合结果进行解码，获得凭证识别模型输出的凭证行序列；对凭证行序列进行格式转换，获得目标凭证图像对应的目标表格。实现了通过编码单元和解码单元的算法框架对目标凭证图像中的图像布局特征以及字符特征进行融合解码，获得凭证识别结果，避免了采用多个模型串联的结构进行凭证识别，缩短了传统凭证识别方法的模型链路，并降低了模型部署的成本。成本。成本。

【技术实现步骤摘要】
图像识别方法以及装置


[0001]本说明书实施例涉及图像处理
，特别涉及图像识别方法。

技术介绍

[0002]数字化社会存在着大量的票据，比如发票，小票清单，若依赖人力进行票据的录入，严重影响着企业的效率和成本。目前已经存在一些利用深度学习进行凭证识别的方法，但是这些方法大多链路很长，需要依赖众多神经网络算法模块，比如OCR模块、主体检查模块、表格检测模块等。这些神经网络算法模块将造成企业应用部署困难，并且众多的算法模块也会浪费大量GPU机器资源，带来高昂的成本。因此，亟需提供一种解决上述问题的技术方案。

技术实现思路

[0003]有鉴于此，本说明书施例提供了两种图像识别方法。本说明书一个或者多个实施例同时涉及两种图像识别装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种图像识别方法，包括：
[0005]获取目标凭证图像；
[0006]将所述目标凭证图像输入凭证识别模型，通过所述凭证识别模型的编码单元对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，包括：获取目标凭证图像；将所述目标凭证图像输入凭证识别模型，通过所述凭证识别模型的编码单元对所述目标凭证图像进行编码，获得图像布局特征以及字符特征，通过所述凭证识别模型的解码单元对所述图像布局特征和所述字符特征进行融合，对融合结果进行解码，获得所述凭证识别模型输出的凭证行序列；对所述凭证行序列进行格式转换，获得所述目标凭证图像对应的目标表格。2.根据如权利要求1所述的图像识别方法，所述通过所述凭证识别模型的解码单元对所述图像布局特征和所述字符特征进行融合，对融合结果进行解码，获得所述凭证识别模型输出的凭证行序列，包括：通过所述凭证识别模型中解码单元的交叉注意力层，对所述图像布局特征和所述字符特征进行融合，获得融合特征；通过所述解码单元中的解码层，对所述融合特征进行解码，获得所述凭证识别模型输出的凭证行序列。3.根据如权利要求1所述的图像识别方法，所述凭证行序列由至少一个凭证行子序列组成，其中，各个凭证行子序列中包括至少一个凭证字段；相应的，所述对所述凭证行序列进行格式转换，获得所述目标凭证图像对应的目标表格，包括：基于所述凭证行序列中至少一个凭证行子序列的行排列顺序，确定各个凭证行子序列对应的行信息；根据各个凭证行子序列中至少一个凭证字段的字段排列顺序，确定各个凭证字段在所属凭证行子序列中对应的列信息；基于各个凭证行子序列对应的行信息，以及各个凭证字段在所属凭证行子序列中对应的列信息，构建各个凭证行子序列对应的初始表格行单元；将各个凭证行子序列中至少一个凭证字段存储至对应的初始表格行单元，根据存储结果获得目标表格。4.根据如权利要求3所述的图像识别方法，针对任意一个凭证行子序列中任意一个凭证字段的存储，包括：根据凭证字段在所属凭证行子序列中对应的列信息以及所属凭证行子序列对应的行信息，确定凭证字段对应的单元格信息；根据所述单元格信息确定凭证字段在所属凭证行子序列对应的初始表格行单元中对应的单元格；将凭证字段存储至所述单元格中。5.根据如权利要求1所述的图像识别方法，所述凭证识别模型的训练，包括：获取样本凭证图像，以及所述样本凭证图像对应的样本标签；将所述样本凭证图像输入预先构建的初始识别模型，通过所述初始识别模型的编码单元对所述样本凭证图像进行编码，获得样本图像布局特征以及样本字符特征，通过所述初始识别模型的解码单元对所述样本图像布局特征和所述样本字符特征进行融合，对融合结果进行解码，获得所述初始识别模型输出的预测凭证行序列；
根据所述预测凭证行序列和所述样本标签计算损失值；根据所述损失值，调整所述初始识别模型的参数，并继续迭代训练直至获得满足训练停止条件的凭证识别模型。6.根据如权利要求1所述的图像识别方法，所述通过所述凭证识别模型的解码单元对所述图像布局特征和所述字符特征进行融合，对融合结果进行解码，获得所述凭证识别模型输出的凭证行序列，包括：通过所述凭证识别模型的解码单元对所述图像布局特征和所述字符特征进行融合，并根据所述解码单元中识别提示参数的布局识别提示参数值对融合结果进行解码，获得所述凭证识别模型输出的凭证行序列。7.根据如权利要求6所述的图像识别方法，所述凭证识别模型的训练，包括：通过字符训练任务对预先构建的初始凭证识别模型进行文字识别训练，获得满足初始训练停止条件的中间凭证识别模型；通过布局训练任务对所述中间凭证识别模型进行布局识别训练，获得满足中间训练停止条件的凭证识别模型。8.根据如权利要求7所述的图像识别方法，所述通过字符训练任务对预先构建的初始凭证识别模型进行文字识别训练，获得满足初始训练停止条件的中间凭证识别模型，包括：获取初始样本凭证图像...

【专利技术属性】
技术研发人员：夏伯谦，李亚东，王洪彬，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：