基于图像的实体关系标注模型处理方法及其相关设备技术

本申请实施例属于人工智能领域，涉及一种基于图像的实体关系标注模型处理方法、装置、计算机设备及存储介质，方法包括：获取训练图像，其实体标注信息包括图像中各实体的文本信息和关系信息；根据文本信息生成各实体的文本复合向量，并生成训练图像的初始复合向量；对训练图像进行分离卷积得到卷积特征向量；合并初始复合向量和卷积特征向量得到图像复合向量；将文本复合向量和图像复合向量输入实体关系标注网络得到实体关系预测信息；根据关系信息和实体关系预测信息计算模型损失，以训练模型；将待标注图像输入模型得到实体关系信息。本申请还涉及区块链技术，训练图像可存储于区块链

【技术实现步骤摘要】
基于图像的实体关系标注模型处理方法及其相关设备


[0001]本申请涉及人工智能
，尤其涉及一种基于图像的实体关系标注模型处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]图像作为一种信息载体，蕴含的信息更丰富，使用也很便捷。随着计算机技术的发展，可以借助计算机视觉算法从图像中获取内容信息。除了从图像中获取内容信息，人们希望进一步挖掘图像内容中的关系信息。例如，从图像中识别实体，并获取到实体所蕴含的信息、属性以及实体之间的关系。然而，当前的实体关系标注主要实现在文本场景，无法直接在图像场景中实现。

技术实现思路

[0003]本申请实施例的目的在于提出一种基于图像的实体关系标注模型处理方法、装置、计算机设备及存储介质，以实现图像中的实体关系标注。
[0004]为了解决上述技术问题，本申请实施例提供一种基于图像的实体关系标注模型处理方法，采用了如下所述的技术方案：
[0005]获取带有实体标注信息的训练图像，所述实体标注信息包括所述训练图像中各实体的文本信息和关系信息，所述文本信息包括所述各实体的文本备注值和坐标信息，所述关系信息包括所述各实体间的实体关系以及关联关系；
[0006]根据所述文本信息生成所述各实体的文本复合向量，并生成所述训练图像的初始复合向量；
[0007]将所述文本复合向量、所述训练图像和所述初始复合向量输入初始实体关系标注模型，以通过所述初始实体关系标注模型中的卷积网络对所述训练图像进行分离卷积处理，得到卷积特征向量；
[0008]合并所述初始复合向量和所述卷积特征向量得到图像复合向量；
[0009]将所述文本复合向量和所述图像复合向量输入所述初始实体关系标注模型中的实体关系标注网络，得到实体关系预测信息；
[0010]根据所述关系信息和所述实体关系预测信息计算模型损失，以根据所述模型损失对所述初始实体关系标注模型进行参数调整，直至所述模型损失满足训练停止条件，得到实体关系标注模型；
[0011]获取待标注图像，并将所述待标注图像输入所述实体关系标注模型，得到实体关系信息。
[0012]为了解决上述技术问题，本申请实施例还提供一种基于图像的实体关系标注模型处理装置，采用了如下所述的技术方案：
[0013]图像获取模块，用于获取带有实体标注信息的训练图像，所述实体标注信息包括所述训练图像中各实体的文本信息和关系信息，所述文本信息包括所述各实体的文本备注
值和坐标信息，所述关系信息包括所述各实体间的实体关系以及关联关系；
[0014]向量生成模块，用于根据所述文本信息生成所述各实体的文本复合向量，并生成所述训练图像的初始复合向量；
[0015]卷积处理模块，用于将所述文本复合向量、所述训练图像和所述初始复合向量输入初始实体关系标注模型，以通过所述初始实体关系标注模型中的卷积网络对所述训练图像进行分离卷积处理，得到卷积特征向量；
[0016]向量合并模块，用于合并所述初始复合向量和所述卷积特征向量得到图像复合向量；
[0017]向量输入模块，用于将所述文本复合向量和所述图像复合向量输入所述初始实体关系标注模型中的实体关系标注网络，得到实体关系预测信息；
[0018]模型调整模块，用于根据所述关系信息和所述实体关系预测信息计算模型损失，以根据所述模型损失对所述初始实体关系标注模型进行参数调整，直至所述模型损失满足训练停止条件，得到实体关系标注模型；
[0019]图像标注模块，用于获取待标注图像，并将所述待标注图像输入所述实体关系标注模型，得到实体关系信息。
[0020]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0021]获取带有实体标注信息的训练图像，所述实体标注信息包括所述训练图像中各实体的文本信息和关系信息，所述文本信息包括所述各实体的文本备注值和坐标信息，所述关系信息包括所述各实体间的实体关系以及关联关系；
[0022]根据所述文本信息生成所述各实体的文本复合向量，并生成所述训练图像的初始复合向量；
[0023]将所述文本复合向量、所述训练图像和所述初始复合向量输入初始实体关系标注模型，以通过所述初始实体关系标注模型中的卷积网络对所述训练图像进行分离卷积处理，得到卷积特征向量；
[0024]合并所述初始复合向量和所述卷积特征向量得到图像复合向量；
[0025]将所述文本复合向量和所述图像复合向量输入所述初始实体关系标注模型中的实体关系标注网络，得到实体关系预测信息；
[0026]根据所述关系信息和所述实体关系预测信息计算模型损失，以根据所述模型损失对所述初始实体关系标注模型进行参数调整，直至所述模型损失满足训练停止条件，得到实体关系标注模型；
[0027]获取待标注图像，并将所述待标注图像输入所述实体关系标注模型，得到实体关系信息。
[0028]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0029]获取带有实体标注信息的训练图像，所述实体标注信息包括所述训练图像中各实体的文本信息和关系信息，所述文本信息包括所述各实体的文本备注值和坐标信息，所述关系信息包括所述各实体间的实体关系以及关联关系；
[0030]根据所述文本信息生成所述各实体的文本复合向量，并生成所述训练图像的初始
复合向量；
[0031]将所述文本复合向量、所述训练图像和所述初始复合向量输入初始实体关系标注模型，以通过所述初始实体关系标注模型中的卷积网络对所述训练图像进行分离卷积处理，得到卷积特征向量；
[0032]合并所述初始复合向量和所述卷积特征向量得到图像复合向量；
[0033]将所述文本复合向量和所述图像复合向量输入所述初始实体关系标注模型中的实体关系标注网络，得到实体关系预测信息；
[0034]根据所述关系信息和所述实体关系预测信息计算模型损失，以根据所述模型损失对所述初始实体关系标注模型进行参数调整，直至所述模型损失满足训练停止条件，得到实体关系标注模型；
[0035]获取待标注图像，并将所述待标注图像输入所述实体关系标注模型，得到实体关系信息。
[0036]与现有技术相比，本申请实施例主要有以下有益效果：获取带有实体标注信息的训练图像，实体标注信息包括训练图像中各实体的文本信息和关系信息，文本信息包括各实体的文本备注值和坐标信息，关系信息包括各实体间的实体关系以及关联关系；根据文本信息生成各实体的文本复合向量，并生成训练图像的初始复合向量；将文本复合向量、训练图像和初始复合向量输入初始实体关系标注模型，初始实体关系标注模型包括卷积网络和实体关系标注网络；卷积网络对训练图像进行分离卷积处理得到作为补充特征的卷积特征向量，分离卷积可以降低计算量并减少参数，卷积网络的归纳偏置可以减少需要的样本，提高训练效率；合并初始复合向量和卷积特征向量得到图像复合向量，将文本复合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的实体关系标注模型处理方法，其特征在于，包括下述步骤：获取带有实体标注信息的训练图像，所述实体标注信息包括所述训练图像中各实体的文本信息和关系信息，所述文本信息包括所述各实体的文本备注值和坐标信息，所述关系信息包括所述各实体间的实体关系以及关联关系；根据所述文本信息生成所述各实体的文本复合向量，并生成所述训练图像的初始复合向量；将所述文本复合向量、所述训练图像和所述初始复合向量输入初始实体关系标注模型，以通过所述初始实体关系标注模型中的卷积网络对所述训练图像进行分离卷积处理，得到卷积特征向量；合并所述初始复合向量和所述卷积特征向量得到图像复合向量；将所述文本复合向量和所述图像复合向量输入所述初始实体关系标注模型中的实体关系标注网络，得到实体关系预测信息；根据所述关系信息和所述实体关系预测信息计算模型损失，以根据所述模型损失对所述初始实体关系标注模型进行参数调整，直至所述模型损失满足训练停止条件，得到实体关系标注模型；获取待标注图像，并将所述待标注图像输入所述实体关系标注模型，得到实体关系信息。2.根据权利要求1所述的基于图像的实体关系标注模型处理方法，其特征在于，在所述获取带有实体标注信息的训练图像的步骤之前，还包括：获取带有实体标注信息的初始训练图像；对所述初始训练图像进行图像增强处理，得到已增强图像；根据所述图像增强处理，获取所述已增强图像的实体标注信息，以得到训练图像。3.根据权利要求1所述的基于图像的实体关系标注模型处理方法，其特征在于，所述根据所述文本信息生成所述各实体的文本复合向量的步骤包括：将所述文本信息中所述各实体的文本备注值分别转化为词向量；根据所述各实体的文本备注值分别生成所述各实体的一维位置向量，并根据所述各实体的坐标信息分别生成所述各实体的二维位置向量；根据所述各实体分别对应的词向量、一维位置向量和二维位置向量，生成所述各实体的文本复合向量。4.根据权利要求1所述的基于图像的实体关系标注模型处理方法，其特征在于，所述生成所述训练图像的初始复合向量的步骤包括：将所述训练图像调整至预设大小，并根据预设的切割方式对大小调整后的训练图像进行切割，得到若干个图像块；生成所述训练图像的一维位置向量，并分别生成每个图像块的图像特征；根据所述一维位置向量和各图像块的图像特征，生成所述训练图像的初始复合向量。5.根据权利要求1所述的基于图像的实体关系标注模型处理方法，其特征在于，在所述将所述文本复合向量、所述训练图像和所述初始复合向量输入初始实体关系标注模型的步骤之前，还包括：获取初始实体关系标注网络，其中，所述初始实体关系标注网络基于l ayo...

【专利技术属性】
技术研发人员：梁凯程，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：