实体识别方法和实体识别模型的训练方法技术

本说明书实施例提供实体识别方法和实体识别模型的训练方法，其中所述实体识别方法包括：获取目标图像；将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样本文本从所述样本图像中识别得到。通过将目标图像输入实体识别模型，从而使实体识别模型可以完成对目标图像的实体抽取；实体识别模型为基于样本图像和样本文本之间的特征对象进行预先训练得到，从而使得实体识别模型具备语义分析功能，进而可以获得符合需求的实体识别结果，提升实体识别效率和准确度。升实体识别效率和准确度。升实体识别效率和准确度。

【技术实现步骤摘要】
实体识别方法和实体识别模型的训练方法


[0001]本说明书实施例涉及计算机
，特别涉及实体识别方法和实体识别模型的训练方法。

技术介绍

[0002]随着计算机技术的不断发展，图像处理技术也在不断提升。
[0003]目前，为了可以对图像内容进行检测和识别，通常基于图像识别算法直接识别出图像中包含的内容。即通常针对于包含清晰实体内容的图像，例如，文档扫描的场景等仅包含一种类型实体的图像；而对于较为复杂的图像，例如，自然场景图像，图像中的文字可能会在折叠、扭曲等情况，影响对图像的识别效果以及识别效率。
[0004]因此，如何提升对图像的识别和检测效率，获得结构化的实体内容成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本说明书实施例提供了实体识别方法。本说明书一个或者多个实施例同时涉及实体识别模型的训练方法、文档实体识别方法以及实体识别装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0006]根据本说明书实施例的第一方面，提供了一种实体识别方法，包括：
[0007]获取目标图像；
[0008]将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样本文本从所述样本图像中识别得到。
[0009]根据本说明书实施例的第二方面，提供了一种实体识别模型的训练方法，应用于云侧设备，包括：
[0010]基于终端发送的模型训练请求获取样本图像，其中，所述样本图像携带有样本文本和样本位置；
[0011]将所述样本图像输入所述实体识别模型，基于所述样本位置，提取所述样本图像的图像特征，并根据所述样本文本，提取文本特征；
[0012]将所述图像特征与所述文本特征进行比对，获得比对结果；
[0013]根据所述比对结果，确定模型损失值，并基于所述模型损失值对所述实体识别模型进行训练，直至达到模型训练停止条件，发送所述实体识别模型的模型参数至所述终端。
[0014]根据本说明书实施例的第三方面，提供了一种实体识别方法，应用于云侧设备，包括：
[0015]接收终端发送的实体识别请求；
[0016]根据所述实体识别请求获取目标图像，并将所述目标图像输入实体识别模型，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样
本文本从所述样本图像中识别得到；
[0017]获取所述实体识别模型输出的实体识别结果，并将所述实体识别结果返回至所述终端。
[0018]根据本说明书实施例的第四方面，提供了一种文档实体识别方法，包括：
[0019]获取待处理图像，其中，所述待处理图像在待处理文档中采集；
[0020]将所述待处理图像输入实体识别模型，获得所述待处理图像的文本实体识别结果，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样本文本从所述样本图像中识别得到。
[0021]根据本说明书实施例的第五方面，提供了一种实体识别装置，包括：
[0022]获取模块，被配置为获取目标图像；
[0023]输入模块，被配置为将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样本文本从所述样本图像中识别得到。
[0024]根据本说明书实施例的第六方面，提供了一种计算设备，包括：
[0025]存储器和处理器；
[0026]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述实体识别方法的步骤。
[0027]根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述实体识别方法的步骤。
[0028]根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述实体识别方法的步骤。
[0029]本说明书一个实施例实现了，获取目标图像；将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样本文本从所述样本图像中识别得到。
[0030]通过将目标图像输入实体识别模型，从而使实体识别模型可以完成对目标图像的实体抽取；实体识别模型为基于样本图像和样本文本之间的特征对象进行预先训练得到，从而使得实体识别模型具备语义分析功能，进而可以获得符合需求的实体识别结果，提升实体识别效率和准确度。
附图说明
[0031]图1是本说明书一个实施例提供的一种实体识别方法的场景示意图；
[0032]图2是本说明书一个实施例提供的一种实体识别方法的流程图；
[0033]图3是本说明书一个实施例提供的一种文档实体识别方法的处理过程流程图；
[0034]图4是本说明书一个实施例提供的一种实体识别模型的训练方法的流程图；
[0035]图5是本说明书一个实施例提供的另一种实体识别方法的流程图；
[0036]图6是本说明书一个实施例提供的一种实体识别装置的结构示意图；
[0037]图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0038]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0039]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0040]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0041]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0042]OCR：OCR(opticalcharacterrecognition)文字识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体识别方法，包括：获取目标图像；将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果，其中，所述实体识别模型为基于样本图像与样本文本之间的特征对齐预先训练得到，所述样本文本从所述样本图像中识别得到。2.如权利要求1所述的方法，所述实体识别模型包含实体位置层、实体类别层、实现关系层、特征转换层和特征提取层；将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果，包括：将所述目标图像输入所述特征提取层，获得所述特征提取层输出的目标图像特征；将所述目标图像特征输入所述实体位置层，获得所述实体位置层检测到的实体位置信息；将所述目标图像特征和所述实体位置信息输入所述特征转换层，获得所述特征转换层输出的目标实体特征；将所述目标实体特征分别输入所述实体类别层和实体关系层，获得所述实体类别层输出的实体类别以及所述实体关系层输出的实体关系；将所述实体位置信息、所述实体类别和所述实体关系作为所述目标图像的实体识别结果。3.如权利要求2所述的方法，将所述目标图像特征和所述实体位置信息输入所述特征转换层，获得所述特征转换层输出的目标实体特征，包括：将所述目标图像特征和所述实体位置信息输入所述特征转换层；基于所述实体位置信息确定所述目标图像中实体的实体中心信息；基于所述实体中心信息在所述目标图像特征中抽取目标图像向量，并根据所述目标图像向量生成实体中心特征；根据所述实体中心特征和目标语义特征生成目标实体特征。4.如权利要求1所述的方法，将所述目标图像输入实体识别模型，获得所述目标图像的实体识别结果之前，还包括：获取样本图像，其中，所述样本图像携带有样本文本和样本位置；将所述样本图像输入所述实体识别模型，基于所述样本位置，提取所述样本图像的图像特征，并根据所述样本文本，提取文本特征；将所述图像特征与所述文本特征进行比对，获得比对结果；根据所述比对结果，确定模型损失值，并基于所述模型损失值对所述实体识别模型进行训练，直至达到模型训练停止条件。5.如权利要求4所述的方法，获取样本图像之前，还包括：提取所述样本图像中的样本图像特征；基于所述样本图像特征对所述样本图像中的文本框进行识别，确定样本文本和所述样本文本对应的样本位置；统计所述样本文本中的目标实体字段，确定所述样本图像中实体对应的样本类别；根据实体对应的样本位置和样本类别，确定实体之间的样本关系。6.如权利要求4或5所述的方法，基于所述样本位置，提取所述样本图像的图像特征，并
根据所述样本文本，提取文本特征，包括：提取所述样本图像的样本图像特征；根据所述样本位置确定所述样本图像中实体的实体中心信息；基于所述实体中心信息在所述样本图像的样本图像特征中提取样本图像向量，根据所述样本图像向量生成图像特征；将所述样本文本输入目标...

【专利技术属性】
技术研发人员：龙如蛟，王鹏飞，杨志博，姚聪，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：