一种用于文化领域的多模态知识图谱推理方法技术

本发明专利技术公开了一种用于文化领域的多模态知识图谱推理方法，推理步骤如下：S1，建立多模态数字资源特定定义语义知识图谱模型；S2，基于S1中的知识图谱模型，融合数字资源知识数据存储入三元组图库数据；S3，建立动态可视化配置推理公式系统；S4，封装推理函数，部署接口服务，通过S2中的三元组图库数据及S3中的推理规则进行推理函数封装。该多模态知识图谱推理方法能够获得多模态推理结果，同时推理过程支持数据来源追溯以及多模态数字资源浏览播放，实验结果达到预期，该结果可运用于智能搜索、智能问答、知识推理等应用场景，充分替代传统单模态文本知识推理形式。模态文本知识推理形式。模态文本知识推理形式。

【技术实现步骤摘要】
一种用于文化领域的多模态知识图谱推理方法


[0001]本专利技术涉及多模态数据资源融合
，尤其是一种用于文化领域的多模态知识图谱推理方法。

技术介绍

[0002]在当前语义推理场景应用下，通常局限文字文本内容知识推理，其推理过程及结果也用文本结构来表达，在知识组织及呈现方式都有一定的局限性，同时对于多模态的数字资源没有充分利用及知识提取，造成资源浪费。

技术实现思路

[0003]针对上述技术问题，本专利技术提出了一种用于文化领域的多模态知识图谱推理方法，该多模态知识图谱推理方法能够获得多模态推理结果，同时推理过程支持数据来源追溯以及多模态数字资源浏览播放，实验结果达到预期，该结果可运用于智能搜索、智能问答、知识推理等应用场景，充分替代传统单模态文本知识推理形式。
[0004]一种用于文化领域的多模态知识图谱推理方法，推理步骤如下：
[0005]S1，建立多模态数字资源特定定义语义知识图谱模型；
[0006]S2，基于S1中的知识图谱模型，融合数字资源知识数据存储入三元组图库数据；
[0007]S3，建立动态可视化配置推理公式系统；
[0008]S4，封装推理函数，部署接口服务，通过S2中的三元组图库数据及S3中的推理规则进行推理函数封装。
[0009]作为上述技术方案的优选，在S1中，以角色、物件、时间、时间、地理位置五个本体概念维度定义元数据知识模型，在知识模型里，明确区分各项限定元素属性以及元素模态形式，同时定义概念与概念之间的主谓关系，标明关系路径。
[0010]作为上述技术方案的优选，在S2中，将多模态数字资源进行文本提取之后，基于定义的知识图谱模型对多模态数字资源的数字文本进行知识提取，以三元组形式存储入图库数据。
[0011]作为上述技术方案的优选，在S3中，使用配套可视化推理公式配置页面，进行推配置，配置过程可实时动态调整，该配置形式包含设置推理意图名称，指定推理路径起始节点概念，在概念与概念之间的关系边上，可以动态配置限定包含关系、关系深度、以及数据资源的模态范围，配置路径后可选择绑定的执行函数，配置好后保存即可。
[0012]作为上述技术方案的优选，封装逻辑采用动态可插拔规则式架构，每项规则绑定一个执行函数，以保证不同的规则有对应合理的执行算法做映射。
[0013]作为上述技术方案的优选，数字资源文本提取的内容包括将视频、音频进行语音转换识别成文本，将图像和三维进行图像分类及元素识别提取知识信息，将文本图片进行OCR文本提取。
[0014]作为上述技术方案的优选，用户还可以在推理路径上点击“+添加路径”按钮追加
下一个节点的推理路径限定条件。
[0015]作为上述技术方案的优选，在S3中，推理配置采用第三方推理引擎“Apache Jena”。
[0016]本专利技术的有益效果在于：
[0017]该多模态知识图谱推理方法能够获得多模态推理结果，同时推理过程支持数据来源追溯以及多模态数字资源浏览播放，实验结果达到预期，该结果可运用于智能搜索、智能问答、知识推理等应用场景，充分替代传统单模态文本知识推理形式。
附图说明
[0018]图1为本专利技术的流程图。
[0019]图2为多模态本体知识模型示意图。
[0020]图3为多模态本体关系定义示意图。
[0021]图4为数据存储形态示意图。
[0022]图5为可视化推理配置页面原型图。
[0023]图6为执行函数运行逻辑图。
具体实施方式
[0024]下面结合本专利技术的附图，对本专利技术的技术方案进行清楚、完整的描述。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]如图1所示的一种用于文化领域的多模态知识图谱推理方法，推理步骤如下：
[0026]S1，建立多模态数字资源特定定义语义知识图谱模型；
[0027]S2，基于S1中的知识图谱模型，融合数字资源知识数据存储入三元组图库数据；
[0028]S3，建立动态可视化配置推理公式系统；
[0029]S4，封装推理函数，部署接口服务，通过S2中的三元组图库数据及S3中的推理规则进行推理函数封装。
[0030]在本实施例中，在S1中，以角色、物件、时间、时间、地理位置五个本体概念维度定义元数据知识模型，在知识模型里，明确区分各项限定元素属性以及元素模态形式，同时定义概念与概念之间的主谓关系，标明关系路径，如图2、图3所示。
[0031]在本实施例中，在S2中，将多模态数字资源进行文本提取之后，基于定义的知识图谱模型对多模态数字资源的数字文本进行知识提取，以三元组形式存储入图库数据，如图4所示。
[0032]在本实施例中，在S3中，使用配套可视化推理公式配置页面，进行推配置，配置过程可实时动态调整，该配置形式包含设置推理意图名称，指定推理路径起始节点概念，在概念与概念之间的关系边上，可以动态配置限定包含关系、关系深度、以及数据资源的模态范围，配置路径后可选择绑定的执行函数，配置好后保存即可，如图5所示。
[0033]在本实施例中，封装逻辑采用动态可插拔规则式架构，每项规则绑定一个执行函数，以保证不同的规则有对应合理的执行算法做映射，如图6所示。
[0034]在本实施例中，数字资源文本提取的内容包括将视频、音频进行语音转换识别成
文本，将图像和三维进行图像分类及元素识别提取知识信息，将文本图片进行OCR文本提取。
[0035]在本实施例中，用户还可以在推理路径上点击“+添加路径”按钮追加下一个节点的推理路径限定条件。
[0036]在本实施例中，在S3中，推理配置采用第三方推理引擎“Apache Jena”。
[0037]以古建筑知识图谱推理为例，在模拟实验环境中，首先筹备“天地之中历史建筑群”知识主题相关多模态数字资源，其中包含相关文献、图像、视频、音频，总条目6千条，并定义其古建筑知识图谱本体模型，包含父级概念13项，子概念108项，结合本体模型最终提取多模态数字资源，获得6千7百多个实例词条以及11万多个三元组。初始定义亲属管理关系路径推理规则、人物生平路径推理规则、人物子嗣与古建筑知识挖掘等规则，并封装服务接口进行接口调用。本次使用规则推理引擎为“Apache Jena”，实际运用不限于推理引擎的选择，测试推理传入“武则天”与“会善寺”进行子嗣古建筑知识挖掘验证，获得多模态推理结果，同时推理过程支持数据来源追溯以及多模态数字资源浏览播放，实验结果达到预期。该结果可运用于智能搜索、智能问答、知识推理等应用场景，充分替代传统单模态文本知识推理形式。
[0038]以上仅为本专利技术的优选实施例而已，并不用于限制本专利技术，对于本领域的技术人员来说，本专利技术可以有各种更改和变化。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。...

【技术保护点】

【技术特征摘要】
1.一种用于文化领域的多模态知识图谱推理方法，其特征在于：推理步骤如下：S1，建立多模态数字资源特定定义语义知识图谱模型；S2，基于S1中的知识图谱模型，融合数字资源知识数据存储入三元组图库数据；S3，建立动态可视化配置推理公式系统；S4，封装推理函数，部署接口服务，通过S2中的三元组图库数据及S3中的推理规则进行推理函数封装。2.根据权利要求1所述的多模态知识图谱推理方法，其特征在于：在S1中，以角色、物件、时间、时间、地理位置五个本体概念维度定义元数据知识模型，在知识模型里，明确区分各项限定元素属性以及元素模态形式，同时定义概念与概念之间的主谓关系，标明关系路径。3.根据权利要求1所述的多模态知识图谱推理方法，其特征在于：在S2中，将多模态数字资源进行文本提取之后，基于定义的知识图谱模型对多模态数字资源的数字文本进行知识提取，以三元组形式存储入图库数据。4.根据权利要求1所述的多模态知识图谱推理方法，其特征在于：在S3中，使用配套可视化推理公式配置页面，...

【专利技术属性】
技术研发人员：杨洋，周冬波，刘长明，叶雪峰，
申请(专利权)人：武汉好古数字科技有限公司，
类型：发明
国别省市：