一种图像识别方法、装置、设备及介质制造方法及图纸

本申请涉及深度学习技术领域，尤其涉及一种图像识别方法、装置、设备及介质。在本申请实施例中，获得待识别的目标发票的图像，将图像输入到预先训练完成的识别模型中，获得识别模型输出的目标发票中包含的实体标签对应的目标实体值。由于本申请实施例中可以通过预先训练完成的识别模型，智能化的识别待识别的目标发票的图像中包含的实体标签对应的目标实体值，提高了识别目标发票中包含的实体值对应的目标实体值的效率，提升了用户体验。提升了用户体验。提升了用户体验。

【技术实现步骤摘要】
一种图像识别方法、装置、设备及介质


[0001]本申请涉及深度学习
，尤其涉及一种图像识别方法、装置、设备及介质。

技术介绍

[0002]发票作为卖方在履行合同时向买方提供的基本单据，有着十分重要的作用，且发票中记载有关货物金额、单价、数量、应收费用等详细情况。
[0003]各发票基本内容大同小异，一般包括多个实体标签，具体包含的实体标签包括：发票号数、日期，合同或订单号数、买卖方及收获人名称和地址、启动地、目的地；运输方式、运输路线、货物的码头、货物的件号、包装种类、包装件数、货物的详细名称、单价、总价、垫付的费用、货物毛重、货物净重、货物体积、付款条件、随附单据名称、随附单据份数、负责人签字等。
[0004]为了识别发票中包含的各个实体标签对应的实体值，业务人员一般通过纯人工的方式来阅览和理解发票中包含的各个实体标签对应的实体值，这将耗费业务人员大量的精力和时间，并且效率低下，影响用户的体验。

技术实现思路

[0005]本申请提供了一种图像识别方法、装置、设备及介质，用以解决现有技术中人工识别发票中包含的各个实体标签对应的实体值效率低，影响用户体验的问题。
[0006]本申请实施例提供了一种图像识别方法，所述方法包括：
[0007]获得待识别的目标发票的图像；
[0008]将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值。
[0009]进一步地，所述将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值包括：
[0010]将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中第一实体标签对应的目标实体值；
[0011]所述方法还包括：
[0012]基于预设的文本识别算法，识别所述目标发票的图像中包含的每个第二实体标签对应的文本；
[0013]根据所述第二实体标签对应的文本与预先保存的所述第二实体标签对应的正则表达式，确定第二实体标签对应的目标实体值。
[0014]进一步地，所述将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值包括：
[0015]将所述目标发票的图像分别输入到所述识别模型中的文本识别子模型、图像识别子模型以及位置向量识别子模型中，获得所述文本识别子模型输出的所述图像中包含的文本、所述图像识别子模型输出的所述图像中包含的所述文本对应的子图像以及所述位置向
量识别子模型输出的所述图像中任意文本和子图像之间的位置关系向量；
[0016]将所述文本输入到所述识别模型中的词向量转换子模型，得到所述文本对应的第一向量；将所述子图像输入到所述识别模型中的图像向量转换子模型中，获得所述子图像对应的第二向量；将所述第一向量、第二向量及所述位置关系向量输入到所述识别模型中的特征综合子模型，获取任意文本和子图像对应的综合特征向量；
[0017]将所述综合特征向量输入到所述识别模型中的实体识别子模型中，获得所述目标发票中包含的实体标签对应的目标实体值。
[0018]进一步地，训练所述识别模型的过程包括：
[0019]针对样本集中的任一样本发票图像，其中，所述样本发票图像标注有各个实体标签的样本实体值，且每个样本实体值都对应标注了其对应的实体标签；将所述样本发票图像输入到原始识别模型中，获得所述原始识别模型输出的所述样本发票图像中包含的各个实体标签的预测实体值，且每个预测实体值都对应标注了其对应的实体标签；
[0020]针对每个实体标签，根据该实体标签下对应的所述样本实体值以及对应的所述预测实体值，对所述原始识别模型进行训练。
[0021]进一步地，标注所述样本发票图像中各个实体标签对应的样本实体值的过程包括：
[0022]针对每个实体标签，获得预设数量个目标用户针对该实体标签标注的候选样本实体值；根据所述预设数量个目标用户针对该实体标签标注的候选样本实体值，确定该实体标签对应的目标卡帕值；
[0023]确定每个实体标签对应的目标卡帕值是否均大于预设的第一阈值，若均大于所述预设的第一阈值，则针对每个实体标签，确定所述预设数量个目标用户标注的该实体标签对应的候选样本实体值中出现次数最多的候选样本实体值的目标数量，确定所述目标数量是否大于预设的第二阈值；若是，则将所述出现次数最多的候选样本实体值确定为该实体标签对应的样本实体值。
[0024]进一步地，若每个实体标签对应的目标卡帕值不均大于预设的第一阈值，所述方法还包括：
[0025]输出更换其他用户来对所述样本发票图像对应的标签进行标注的提示信息。
[0026]本申请实施例还提供了一种图像识别装置，所述装置包括：
[0027]获取模块，用于获得待识别的目标发票的图像；
[0028]处理模块，用于将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值。
[0029]进一步地，所述处理模块，具体用于将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中第一实体标签对应的目标实体值；
[0030]所述处理模块，还用于基于预设的文本识别算法，识别所述目标发票的图像中包含的每个第二实体标签对应的文本；根据所述第二实体标签对应的文本与预先保存的所述第二实体标签对应的正则表达式，确定第二实体标签对应的目标实体值。
[0031]进一步地，所述处理模块，具体用于将所述目标发票的图像分别输入到所述识别模型中的文本识别子模型、图像识别子模型以及位置向量识别子模型中，获得所述文本识别子模型输出的所述图像中包含的文本、所述图像识别子模型输出的所述图像中包含的所
述文本对应的子图像以及所述位置向量识别子模型输出的所述图像中任意文本和子图像之间的位置关系向量；将所述文本输入到所述识别模型中的词向量转换子模型，得到所述文本对应的第一向量；将所述子图像输入到所述识别模型中的图像向量转换子模型中，获得所述子图像对应的第二向量；将所述第一向量、第二向量及所述位置关系向量输入到所述识别模型中的特征综合子模型，获取任意文本和子图像对应的综合特征向量；将所述综合特征向量输入到所述识别模型中的实体识别子模型中，获得所述目标发票中包含的实体标签对应的目标实体值。
[0032]进一步地，所述装置还包括：
[0033]训练模块，用于针对样本集中的任一样本发票图像，其中，所述样本发票图像标注有各个实体标签的样本实体值，且每个样本实体值都对应标注了其对应的实体标签；将所述样本发票图像输入到原始识别模型中，获得所述原始识别模型输出的所述样本发票图像中包含的各个实体标签的预测实体值，且每个预测实体值都对应标注了其对应的实体标签；针对每个实体标签，根据该实体标签下对应的所述样本实体值以及对应的所述预测实体值，对所述原始识别模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：获得待识别的目标发票的图像；将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值。2.根据权利要求1所述的方法，其特征在于，所述将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值包括：将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中第一实体标签对应的目标实体值；所述方法还包括：基于预设的文本识别算法，识别所述目标发票的图像中包含的每个第二实体标签对应的文本；根据所述第二实体标签对应的文本与预先保存的所述第二实体标签对应的正则表达式，确定第二实体标签对应的目标实体值。3.根据权利要求1所述的方法，其特征在于，所述将所述图像输入到预先训练完成的识别模型中，获得所述识别模型输出的所述目标发票中包含的实体标签对应的目标实体值包括：将所述目标发票的图像分别输入到所述识别模型中的文本识别子模型、图像识别子模型以及位置向量识别子模型中，获得所述文本识别子模型输出的所述图像中包含的文本、所述图像识别子模型输出的所述图像中包含的所述文本对应的子图像以及所述位置向量识别子模型输出的所述图像中任意文本和子图像之间的位置关系向量；将所述文本输入到所述识别模型中的词向量转换子模型，得到所述文本对应的第一向量；将所述子图像输入到所述识别模型中的图像向量转换子模型中，获得所述子图像对应的第二向量；将所述第一向量、第二向量及所述位置关系向量输入到所述识别模型中的特征综合子模型，获取任意文本和子图像对应的综合特征向量；将所述综合特征向量输入到所述识别模型中的实体识别子模型中，获得所述目标发票中包含的实体标签对应的目标实体值。4.根据权利要求1所述的方法，其特征在于，训练所述识别模型的过程包括：针对样本集中的任一样本发票图像，其中，所述样本发票图像标注有各个实体标签的样本实体值，且每个样本实体值都对应标注了其对应的实体标签；将所述样本发票图像输入到原始识别模型中，获得所述原始识别模型输出的所述样本发票图像中包含的各个实体标签的预测实体值，且每个预测实体值都对应标注了其对应的实体标签；针对每个实体标签，根据该实体标签下对应的所述样本实体值以及对应的所述预测实体值，对所述原始识别模型进行训练。5.根据权利要求4所述的方法，其特征在于，标注所述样本发票图像中各个实体标签对应的样本实体值的过程包括：针对每个实体标签，获得预设数量个目标用户针对该实体标签标注的候选样本实体值；根据所述预设数量个目标用户针对该实体标签标注的候选样本实体值，确定该实体标签对应的目标卡帕值；
确定每个实体标签对应的目标卡帕值是否均大于预设的第一阈值，若均大于所述预设的第一阈值，则针对每个实体标签，确定所述预设数量个目标用户标注的该实体标签对应的候选样本实体值中出现次数最多的候选样本实体值的目标数量，确定所述目标数量是否大于预设的第二阈值；若是，则将所述出现次数最多的候选样本实体值确定为该实体标签对应的样本实体值。6.根据权利要求5所述的方法，其特征在于，若每个实体标签对应的目标卡帕值不均大于预设的第一阈值，所述方法还包括：输出更换其他用户来对所述样本发票图像对应的标签进行标注的提示信息。7.一种图像识别装置，其特征在于，包括：获取模块，用于获得待识别的目标发票的图像；处理模块，用于将所述图像输入到预先训练完成的识别模型中，获得所述识别...

【专利技术属性】
技术研发人员：张文宇，卜丽，陆佳庆，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：