基于规则和路径的中医药多模态知识图谱推理方法和装置制造方法及图纸

本发明专利技术提供一种基于规则和路径的中医药多模态知识图谱推理方法和装置，涉及知识图谱推理技术领域，该方法包括：根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。本发明专利技术基于中医药多模态知识图谱推理模型可以有效的提升推理预测的准确性。升推理预测的准确性。升推理预测的准确性。

【技术实现步骤摘要】
基于规则和路径的中医药多模态知识图谱推理方法和装置


[0001]本专利技术涉及知识图谱推理
，尤其涉及一种基于规则和路径的中医药多模态知识图谱推理方法和装置。

技术介绍

[0002]知识图谱（knowledge graph）能够有效的管理和组织海量的结构化信息，在语义分析等方面发挥着重要的作用，知识图谱是由互相有联系的实体和它们的关系构成的，拥有着大量的三元组（head，relation，tail），也被简写成。
[0003]相关技术中，随着知识图谱规模的不断增加，实体与实体之间的关系日益复杂，结构稀疏性等问题更加明显，从而导致推理性能较低。因而如何更加有效的进行知识图谱推理是本领域技术人员亟需解决的技术问题。

技术实现思路

[0004]针对现有技术中的问题，本专利技术实施例提供一种基于规则和路径的中医药多模态知识图谱推理方法和装置。
[0005]具体地，本专利技术实施例提供了以下技术方案：第一方面，本专利技术实施例提供了一种基于规则和路径的中医药多模态知识图谱推理方法，包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目标规则用于指示路径之间的组合规则；根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；所述嵌入表示用于创建向量表示；根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
[0006]进一步地，所述根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组，包括：在目标路径之间匹配到多个目标规则的情况下，基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的目标三元组。
[0007]进一步地，所述根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：
将所述中医药多模态知识图谱的目标三元组嵌入至预设的N维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示；将中医药多模态知识图谱中的实体图像嵌入至预设的N维向量空间中，生成中医药多模态知识图谱中的实体图像嵌入表示；将中医药多模态知识图谱中的实体描述信息投影到超平面，生成中医药多模态知识图谱中的实体描述信息嵌入表示；所述超平面是基于中医药多模态知识图谱的结构知识确定的；将中医药多模态知识图谱中的实体类别投影到超平面，生成中医药多模态知识图谱中的实体类别嵌入表示；根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型。
[0008]进一步地，所述根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：将所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，进行联合训练，生成基于规则和路径的中医药多模态知识图谱推理模型。
[0009]进一步地，所述将所述中医药多模态知识图谱的目标三元组嵌入至预设的N维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示，包括：利用如下公式表示中医药多模态知识图谱的目标三元组的嵌入表示：；其中，表示中医药多模态知识图谱的目标三元组的嵌入表示；表示目标三元组之间的能量函数；表示目标路径和实体关系相似度的能量函数。
[0010]进一步地，所述根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理，包括：根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识图谱的数据集链接预测和三元组分类。
[0011]第二方面，本专利技术实施例还提供了一种基于规则和路径的中医药多模态知识图谱推理装置，包括：建立模块，用于建立中医药多模态知识图谱；生成模块，用于根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目
标规则用于指示路径之间的组合规则；处理模块，用于根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；所述嵌入表示用于创建向量表示；推理模块，用于根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
[0012]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于规则和路径的中医药多模态知识图谱推理方法。
[0013]第四方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述基于规则和路径的中医药多模态知识图谱推理方法。
[0014]第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述基于规则和路径的中医药多模态知识图谱推理方法。
[0015]本专利技术实施例提供的基于规则和路径的中医药多模态知识图谱推理方法和装置，通过建立中医药多模态知识图谱，并根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；从而在生成中医药多模态知识图谱推理模型及知识图谱推理的过程中，不仅增加了类别、描述、图像等多模态信息，还增加了基于目标规则和目标路径确定的目标三元组信息，提升了模型的推理依据，提供了可解释性及更有说服力的推理结果；并且基于丰富的语义信息，也就可以提高推理预测的准确性，有效的整合中医药资源，实现在中医药等领域对模型的安全性能要求较高场景下的推理，辅助中医药领域的信息理解，提升搜索、推荐和问答中知识提供的准确度，推理中医药症状、方剂、治疗等实体的规律，帮助医生制定诊疗方案，保障人们的生命安全。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目标规则用于指示路径之间的组合规则；根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。2.根据权利要求1所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组，包括：在目标路径之间匹配到多个目标规则的情况下，基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的目标三元组。3.根据权利要求2所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：将所述中医药多模态知识图谱的目标三元组嵌入至预设的N维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示；将中医药多模态知识图谱中的实体图像嵌入至预设的N维向量空间中，生成中医药多模态知识图谱中的实体图像嵌入表示；将中医药多模态知识图谱中的实体描述信息投影到超平面，生成中医药多模态知识图谱中的实体描述信息嵌入表示；所述超平面是基于中医药多模态知识图谱的结构知识确定的；将中医药多模态知识图谱中的实体类别投影到超平面，生成中医药多模态知识图谱中的实体类别嵌入表示；根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型。4.根据权利要求3所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识...

【专利技术属性】
技术研发人员：张小平，焦元周，赵玉凤，李冬梅，张润顺，顾浩，曲锦涛，瞿小龙，刘佳，周佩，潘溪水，
申请(专利权)人：北京林业大学，
类型：发明
国别省市：