基于复合分层模型的多模态联合知识表示方法及系统技术方案

本申请公开了一种基于复合分层模型的多模态联合知识表示方法及系统，所述多模态联合知识表示系统基于分层分治思想，将面向多模态的知识表示模块分别封装为多个知识表示层，每个知识表示层可根据模态同步对多模态知识/数据分别进行知识表示，并且，在所述多个知识表示层顶端还设置有联合表示学习层，所述联合表示学习层可将源于各知识表示层的单模态知识或者多模态联合知识进行表示学习，从而获得所述多模态知识/数据对应的多模态联合知识表示。示。示。

【技术实现步骤摘要】
基于复合分层模型的多模态联合知识表示方法及系统


[0001]本申请属于信息检索领域，特别涉及一种基于复合分层模型的多模态联合知识表示方法及系统。

技术介绍

[0002]知识图谱(Knowledge Graph)也可以被称为语义网络(Semantic Network)，其本质上为具有有向图结构的知识库。具体地，知识图谱是由实体、关系和属性组成的一种数据结构。知识图谱主要包括通用知识图谱和行业知识图谱，其中通用知识图谱侧重构建行业常识性的知识，并用于搜索引擎和推荐系统；行业知识图谱主要面向企业，通过构建不同行业、企业的知识图谱，对企业内部提供知识化服务。
[0003]随着知识图谱在产业中应用的深度不断增加，对多模态知识/数据的处理也变得日趋重要，因而出现了知识图谱发展的下一个形态—多模态知识图谱。多模态知识图谱与传统知识图谱的主要区别是，传统知识图谱主要集中研究文本、网页和数据库的实体和关系，而多模态知识图谱则在传统知识图谱的基础上，构建多种模态(例如，文本模态结合视觉模态)下的实体以及多种模态实体间的多模态语义关系。
[0004]多模态知识表示是多模态知识图谱构建与应用的前提，然而，目前，面向多模态知识图谱的知识表示存在以下几方面的问题：
[0005]1、仅支持部分并非全部模态知识及数据的表示。除文本模态的知识外，当前多模态知识表示的主要研究聚焦于文本和视觉模态，仅部分研究涉及方案可涉及时序、事件等模态，然而，这些方案仅能够解决特定模态知识的表示，一旦应用场景中的数据模态超出预设模态的范畴，这些方案则难以适用。
[0006]2、缺乏面向不同模态知识的统一联合分布式向量表示方法。表示学习是当前知识图谱研究中的热点技术，表示学习的目的是通过机器学习将研究对象的语义信息表示为稠密低维实值向量，这种向量是一种分布式表示向量；基于分布式表示向量，能够统一支撑上层的任务，例如，推理、补全等。
[0007]目前，主流的表示学习方案基本均面向特定模态数据，即，仅能够实现对单一模态(如文本模态或者视觉模态等)知识的表示，缺乏面向不同模态知识的联合表示学习的方案。
[0008]3、不同知识表示方法之间难以协同，无法支撑复杂场景的知识表示。现有多模态知识表示方案中同时包括多种知识表示方法，各知识表示方法仅用于表示既定模态的知识，不同模态的知识表示之间缺少结合及协同的基础，对于需要多种知识表示方法协同实现表示的知识则难以表示。

技术实现思路

[0009]针对当前面向多模态知识图谱知识表示方案存在的问题，为实现企业级应用场景下多模态知识图谱的统一联合知识表示，本申请提供一种基于复合分层模型的多模态联合
知识表示方法及系统，所述多模态联合知识表示系统基于分层分治思想，将面向多模态的知识表示模块分别封装为多个知识表示层，每个知识表示层可根据模态同步对多模态知识/数据分别进行知识表示，并且，在所述多个知识表示层顶端还设置有联合表示学习层，所述联合表示学习层可将源于各知识表示层的单模态知识或者多模态联合知识进行表示学习，从而获得所述多模态知识/数据对应的多模态联合知识表示。
[0010]本申请的目的在于提供以下几个方面：
[0011]第一方面，本申请提供一种基于复合分层模型的多模态联合知识表示系统，所述多模态联合知识表示系统包括：
[0012]基础数据表示层，用于对多模态的数据进行表示；
[0013]静态本体知识表示层，用于对静态本体知识进行表示；
[0014]动态本体与规则表示层，用于对动态本体以及规则知识进行表示；
[0015]主题模型表示层，用于对基于知识抽象而得特定主题知识进行表示；
[0016]多模态联合知识表示层，用于将源于所述基础数据表示层、静态本体知识表示层、动态本体与规则表示层以及所述主题模型表示层的单模态知识表示结果进行联合知识表示学习，从而得到多模态联合知识表示。
[0017]在一种可实现的方式中，所述基础数据表示层可以包括：
[0018]基础GIS表示模型，用于对空间数据库中的数据进行表示，所述空间数据库可以包括POI、ROI和Path；
[0019]ER图表示模型，用于对关系数据库中的数据进行表示；
[0020]时间序列表示模型，用于对时态数据库中的数据进行表示；
[0021]文档表示模型，用于对文档数据库中的数据进行表示；
[0022]向量表示模型，用于对向量数据库中的数据进行表示；
[0023]File表示模型，用于对文件数据进行表示。
[0024]在一种可实现的方式中，所述静态本体知识表示层可以包括：
[0025]概念表示模型，用于对概念知识进行表示；
[0026]上下位表示模型，用于对各概念的上下位关系知识进行表示；
[0027]实体表示模型，用于对实体知识进行表示；
[0028]实体属性表示模型，用于对实体属性知识进行表示；
[0029]实体关系表示模型，用于对实体关系知识进行表示。
[0030]可选地，所述静态本体知识表示层中各模型基于RDF、RDFS、OWL或者属性图实现。
[0031]在一种可实现的方式中，动态本体与规则表示层可以包括：
[0032]动态属性表示模型，用于对需要进行动态计算的属性知识进行表示；
[0033]动态关系表示模型，用于对需要进行动态计算的关系知识进行表示；
[0034]产生式规则表示模型，用于对规则类知识进行表示；
[0035]元事件表示模型，用于对元事件知识进行表示；
[0036]事件关系表示模型，用于对元事件之间的关系知识进行表示。
[0037]在一种可实现的方式中，主题模型表示层可以包括：
[0038]主题事件表示模型，用于对围绕特定主题的事件知识进行表示；
[0039]时间主题表示模型，用于对以时间为主线的主题知识进行表示；
[0040]文档主题表示模型，用于对以文档为主线的主题进行表示；
[0041]复合主题表示模型，用于对复合主题知识进行表示，所述复合主题包括使用主题事件知识、时间主题知识以及文档主题知识中的至少两种。
[0042]在一种可实现的方式中，多模态联合知识表示层包括联合知识表示学习子层和知识链接子层，其中，
[0043]所述知识链接子层用于对源于所述基础数据表示层、静态本体知识表示层、动态本体与规则表示层以及所述主题模型表示层的单模态知识进行显性联合知识表示；
[0044]所述联合知识表示学习子层用于对源于知识链接子层的显性联合知识表示或者源于所述基础数据表示层、静态本体知识表示层、动态本体与规则表示层以及所述主题模型表示层的单模态知识进行隐性联合知识表示。
[0045]在一种可实现的方式中，所述隐性联合知识表示学习模型至少包括：
[0046]向量拼接层，用于将所述基础分布式表示向量、图分布式表示向量以及非图分布式表示向量进行拼接；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于复合分层模型的多模态联合知识表示系统，其特征在于，所述多模态联合知识表示系统包括：基础数据表示层，用于对多模态的数据进行表示；静态本体知识表示层，用于对静态本体知识进行表示；动态本体与规则表示层，用于对动态本体以及规则知识进行表示；主题模型表示层，用于对基于知识抽象而得特定主题知识进行表示；多模态联合知识表示层，用于将源于所述基础数据表示层、静态本体知识表示层、动态本体与规则表示层以及所述主题模型表示层的单模态知识表示结果进行联合知识表示学习，从而得到多模态联合知识表示。2.根据权利要求1所述的多模态联合知识表示系统，其特征在于，所述基础数据表示层可以包括：基础GIS表示模型，用于对空间数据库中的数据进行表示，所述空间数据库可以包括POI、ROI和Path；ER图表示模型，用于对关系数据库中的数据进行表示；时间序列表示模型，用于对时态数据库中的数据进行表示；文档表示模型，用于对文档数据库中的数据进行表示；向量表示模型，用于对向量数据库中的数据进行表示；File表示模型，用于对文件数据进行表示。3.根据权利要求1或2所述的多模态联合知识表示系统，其特征在于，所述静态本体知识表示层可以包括：概念表示模型，用于对概念知识进行表示；上下位表示模型，用于对各概念的上下位关系知识进行表示；实体表示模型，用于对实体知识进行表示；实体属性表示模型，用于对实体属性知识进行表示；实体关系表示模型，用于对实体关系知识进行表示。4.根据权利要求1至3任一项所述的多模态联合知识表示系统，其特征在于，动态本体与规则表示层可以包括：动态属性表示模型，用于对需要进行动态计算的属性知识进行表示；动态关系表示模型，用于对需要进行动态计算的关系知识进行表示；产生式规则表示模型，用于对规则类知识进行表示；元事件表示模型，用于对元事件知识进行表示；事件关系表示模型，用于对元事件之间的关系知识进行表示。5.根据权利要求1至4任一项所述的多模态联合知识表示系统，其特征在于，主题模型表示层可以包括：主题事件表示模型，用于对围绕特定主题的事件知识进行表示；时间主题表示模型，用于对以时间为主线的主题知识进行表示；文档主题表示模型，用于对以文档为主线的主题进行表示；复合主题表示模型，用于对复合主题知识进行表示，所述复合主题包括使用主题事件知识、时间主题知识以及文档主题知识中的至少两种。

【专利技术属性】
技术研发人员：刘丽华，陈海文，杨皓宇，魏勇，王懋，朱冠宇，胡芳槐，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：