【技术实现步骤摘要】
实体关系的预测方法、装置、电子设备及存储介质
[0001]本公开涉及计算机领域，尤其涉及一种实体关系的预测方法、装置、电子设备及存储介质。
技术介绍
[0002]多模态关系提取是指利用图像中的视觉内容对文本中缺失的信息进行补充，旨在给定图像
‑
文本对时，识别文本中的实体之间的关系。
[0003]相关技术中，利用图像中的实体本身的信息和文本中的实体本身的信息，预测文本中的实体之间的关系。此种方法使一个实体同时包含该实体在图像中的信息和该实体在文本中的信息，从而丰富了实体的信息，进而依据丰富了信息的实体预测实体之间的关系。然而，预测的是实体之间的关系，仅仅是丰富了实体本身的信息，预测得到实体之间的关系准确度还有待提升。
技术实现思路
[0004]为克服相关技术中存在的问题，本公开提供一种实体关系的预测方法、装置、电子设备及存储介质。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种实体关系的预测方法，包括：
[0006]获取图像
‑
...
【技术保护点】
【技术特征摘要】
1.一种实体关系的预测方法，其特征在于，包括：获取图像
‑
文本对中的文本的文本表示，所述图像
‑
文本对中的图像和所述文本包含至少一个相同的实体；获取三元组文本的三元组表示，所述三元组文本包括文本三元组文本和图像三元组文本，所述文本三元组文本用于描述所述文本中的词组之间的依存关系，所述图像三元组文本用于描述所述图像中的实体之间的关系类别；对所述文本表示和所述三元组表示进行信息融合处理，得到更新后的文本表示，所述更新后的文本表示包括所述文本三元组文本的信息和所述图像三元组文本的信息；基于所述更新后的文本表示，预测所述文本中的头实体和尾实体之间的关系类别。2.根据权利要求1所述的方法，其特征在于，还包括：获取所述图像
‑
文本对中所述图像的图像表示；对所述图像表示和所述三元组表示进行信息融合处理，得到更新后的三元组表示，所述更新后的三元组表示包括所述三元组表示的信息和所述图像的信息；对所述文本表示和所述更新后的三元组表示进行信息融合处理，得到目标文本表示，所述目标文本表示包括所述文本三元组文本的信息、所述图像三元组文本的信息和所述图像的信息；基于所述目标文本表示，预测所述头实体和所述尾实体之间的关系类别。3.根据权利要求1所述的方法，其特征在于，所述基于所述更新后的文本表示，预测所述文本中的头实体和尾实体之间的关系类别，包括：提取所述更新后的文本表示中所述头实体的向量表示和所述尾实体的向量表示；将所述头实体的向量表示和所述尾实体的向量表示进行拼接，得到拼接后的向量表示；预测所述拼接后的向量表示属于每种关系类别的置信度；将所述置信度最高的关系类别，确定为所述头实体和所述尾实体之间的关系类别。4.根据权利要求1所述的方法，其特征在于，所述获取三元组文本的三元组表示，包括：获取所述文本三元组文本和所述图像三元组文本；将所述文本三元组文本和所述图像三元组文本进行拼接，得到所述三元组文本；基于所述三元组文本，得到所述三元组文本的三元组表示。5.根据权利要求4所述的方法，其特征在于，所述获取所述文本三元组文本，包括：构建所述文本的依存句法树，所述依存句法树表征了所述文本中的词组之间的依存关系，所述文本中的词组包括所述头实体和所述尾实体；基于所述文本的依存句法树，得到所述文本...
【专利技术属性】
技术研发人员：郑子豪，张景润，刘铭，秦兵，付瑞吉，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。