多模态知识图谱校验方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40701622 阅读:19 留言:0更新日期:2024-03-22 10:59
本发明专利技术涉及一种多模态知识图谱校验方法、装置、电子设备及存储介质,该方法包括:从待校验多模态知识图谱中查询并获取待校验多模态知识对,待校验多模态知识对至少包括第一实体以及第一实体对应的第一图像。调用多模态大模型对第一图像进行处理,以生成并输出与第一图像对应的第一描述文本。通过预训练大语言模型从第一描述文本中提取多个第二实体,以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本。将第一问题文本作为预训练大语言模型的输入,以输出与第一问题文本对应的第一答案,第一答案至少包括肯定词汇或否定词汇。当第一答案通过词汇匹配后存在肯定词汇时,输出第一实体与第一图像之间的实体关系。

【技术实现步骤摘要】

本专利技术涉及知识图谱,特别是涉及一种多模态知识图谱校验方法、装置、电子设备及存储介质


技术介绍

1、知识图谱已经在各个领域广泛应用,目前知识图谱的校验主要是对知识图谱进行错误检测和噪声检测,常用的知识图谱校验方法是路径排序法、图嵌入法、置信知识表示学习方法以及几个方法的组合方法。其中,路径排序法是通过基于随机游走的特征选择方法抽取知识图谱的路径,然后给每个路径赋值,表示通过该路径从知识三元组的头部实体走到尾部实体的可能性概率。图嵌入法是通过将实体与实体关系映射到一个低维向量空间中,然后对这些向量进行连接预测和节点分类。例如平移距离模型(translationaldistance models,transe),以及之后的transh,transr,transm,transf都是transh的变种。另一种嵌入法是语义模型法,主要是通过实体和实体关系之间的潜在语义匹配来评估不同事实的置信度。但是,以上常用的知识图谱校验方法不仅需要建立大量的样本构建错误检测模型,还需要通过人工找到错误知识三元组的特征,效率较低。另外,由于领域不同,需要建立的样本类型也不同,这本文档来自技高网...

【技术保护点】

1.一种多模态知识图谱校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多模态知识图谱校验方法,其特征在于,所述从待校验多模态知识图谱中查询并获取待校验多模态知识对,之后还包括:

3.根据权利要求1所述的多模态知识图谱校验方法,其特征在于,所述通过预训练大语言模型从所述第一描述文本中提取多个第二实体,以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本,包括:

4.根据权利要求3所述的多模态知识图谱校验方法,其特征在于,所述通过预训练大模型从所述第一描述文本中提取多个第二实体,并根据问题模板生成用于判断所述第一实体与所...

【技术特征摘要】

1.一种多模态知识图谱校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多模态知识图谱校验方法,其特征在于,所述从待校验多模态知识图谱中查询并获取待校验多模态知识对,之后还包括:

3.根据权利要求1所述的多模态知识图谱校验方法,其特征在于,所述通过预训练大语言模型从所述第一描述文本中提取多个第二实体,以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本,包括:

4.根据权利要求3所述的多模态知识图谱校验方法,其特征在于,所述通过预训练大模型从所述第一描述文本中提取多个第二实体,并根据问题模板生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本,还包括:

5.根据权利要求1所述的多模态知识图...

【专利技术属性】
技术研发人员:魏鑫磊马慧生张伟
申请(专利权)人:中国电子科技集团公司第十五研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1