一种知识图谱的存储系统及方法技术方案

技术编号:23343296 阅读:75 留言:0更新日期:2020-02-15 03:51
本申请涉及存储技术领域,尤其涉及一种知识图谱的存储系统及方法。本申请中的知识图谱的存储系统包括计算引擎和分布式文件存储数据库,通过计算引擎对获取的与目标业务对应的多个实体的实体数据进行计算,可以生成目标业务对应的知识图谱,其中,实体数据包括多个实体中每个实体的属性数据和关系数据,并通过分布式文件存储数据库将知识图谱进行存储。采用上述方式,本申请通过计算引擎进行知识图谱的计算,通过分布式文件存储数据库对知识图谱进行存储,实现了知识图谱的计算和存储的分离,可以提升数据计算、存储、检索的效率。

A storage system and method of knowledge map

【技术实现步骤摘要】
一种知识图谱的存储系统及方法
本申请涉及存储
,尤其涉及一种知识图谱的存储系统及方法。
技术介绍
知识图谱,是一种用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱可以将大规模数据中的隐藏的知识抽取出来,构建一个基于图的数据模型。近些年的数据挖掘、大数据、人工智能、机器学习等等和信息处理关联的热门技术,可以用知识图谱来辅助,这些技术的最终目的,实质是把数据收集整理成结构化的、可复用、可推理的存储,进而用于更多的使用场景,而知识图谱这种存储格式,可以近乎完美的匹配这些需求。目前,知识图谱的存储结构设计没有统一的标准,对于数据量不是很大且结构固定的图谱,通常使用传统数据库和关系表进行存储。但是,在数据量大的情况下,一个实体通常会包含众多属性,如果同时计算这些属性并存储到传统数据库,比如图形数据库(Neo4j),会大大降低数据计算、存储、检索的效率。
技术实现思路
有鉴于此,本申请实施例的目的在于提供一种知识图谱的存储系统及方法,实现了知识图谱的计算和存储的分离,可以提升数据计算、存储、检索的效率。本申请主要包括以下几个方面:第一方面,本申请实施例提供一种知识图谱的存储系统,存储系统包括计算引擎和分布式文件存储数据库;其中,所述计算引擎,用于获取与目标业务对应的多个实体的实体数据,并根据所述实体数据生成所述目标业务对应的知识图谱;所述实体数据包括所述多个实体中每个实体的属性数据和关系数据;所述分布式文件存储数据库,用于获取所述知识图谱,并将所述知识图谱进行存储。在一种可能的实施方式中,所述存储系统还包括管理关系数据库;所述管理关系数据库,用于存储关系型数据,所述关系型数据包括所述实体数据。在一种可能的实施方式中,所述计算引擎,具体用于根据以下步骤生成所述知识图谱:根据所述多个实体中每个实体的属性数据,建立每个实体对应的节点在所述知识图谱中的节点数据;根据所述多个实体中每个实体的关系数据,建立每个实体与其他实体之间在所述知识图谱中的边数据;所述其他实体为所述多个实体中除该实体之外的实体;所述边数据包括属性类型和属性值;根据所述多个实体中每个实体的节点数据,以及每个实体与其他实体之间在所述知识图谱中的边数据,生成所述知识图谱。在一种可能的实施方式中,所述存储系统还包括连接器;所述连接器,用于将所述计算引擎生成的所述知识图谱进行序列化,并将所述序列化后的知识图谱发送至所述分布式文件存储数据库。在一种可能的实施方式中,所述分布式文件存储数据库,具体用于根据以下步骤将所述知识图谱进行存储:将所述知识图谱中的每个实体对应的属性数据和关系数据分别进行存储;所述关系数据以三元组的形式进行存储;其中,所述三元组包括第一实体-关系-第二实体,所述关系包括属性类型和属性值,所述第一实体和所述第二实体为所述多个实体中的两个不同实体。在一种可能的实施方式中,所述分布式文件存储数据库还用于:根据所述多个实体中每个实体的身份标识建立索引,以供用户通过所述身份标识检索对应实体的实体数据;其中,所述属性数据包括所述身份标识。在一种可能的实施方式中,所述存储系统还包括数据调用模块和展示模块;所述数据调用模块,用于从所述分布式文件存储数据库读取所述知识图谱,并根据目标属性类型,从所述知识图谱中筛选出与所述目标属性类型对应的点数据和边数据;所述展示模块,用于展示所述数据调用模块筛选出的与所述目标属性类型对应的点数据和边数据。第二方面,本申请实施例还提供一种知识图谱的存储方法,存储方法包括:获取与目标业务对应的多个实体的实体数据,并根据所述实体数据生成所述目标业务对应的知识图谱;所述实体数据包括所述多个实体中每个实体的属性数据和关系数据;将所述知识图谱进行存储。在一种可能的实施方式中,所述存储方法还包括:存储关系型数据,所述关系型数据包括所述实体数据。在一种可能的实施方式中,所述根据所述实体数据生成所述目标业务对应的知识图谱,包括:根据所述多个实体中每个实体的属性数据,建立每个实体对应的节点在所述知识图谱中的节点数据;根据所述多个实体中每个实体的关系数据,建立每个实体与其他实体之间在所述知识图谱中的边数据;所述其他实体为所述多个实体中除该实体之外的实体;所述边数据包括属性类型和属性值;根据所述多个实体中每个实体的节点数据,以及每个实体与其他实体之间在所述知识图谱中的边数据,生成所述知识图谱。在一种可能的实施方式中,所述将所述知识图谱进行存储包括:将所述知识图谱进行序列化,并将所述序列化后的知识图谱进行存储。在一种可能的实施方式中,所述将所述知识图谱进行存储,包括:将所述知识图谱中的每个实体对应的属性数据和关系数据分别进行存储;所述关系数据以三元组的形式进行存储;其中,所述三元组包括第一实体-关系-第二实体,所述关系包括属性类型和属性值,所述第一实体和所述第二实体为所述多个实体中的两个不同实体。在一种可能的实施方式中,所述存储方法还包括:根据所述多个实体中每个实体的身份标识建立索引,以供用户通过所述身份标识检索对应实体的实体数据;其中,所述属性数据包括所述身份标识。在一种可能的实施方式中,所述存储方法还包括:根据目标属性类型,从所述知识图谱中筛选出与所述目标属性类型对应的点数据和边数据;展示筛选出的与所述目标属性类型对应的点数据和边数据。第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行上述第二方面或第二方面中任一种可能的实施方式中所述的知识图谱的存储方法的步骤。第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第二方面或第二方面中任一种可能的实施方式中所述的知识图谱的存储方法的步骤。本申请实施例中,知识图谱的存储系统包括计算引擎和分布式文件存储数据库,通过计算引擎对获取的与目标业务对应的多个实体的实体数据进行计算,可以生成目标业务对应的知识图谱,其中,实体数据包括多个实体中每个实体的属性数据和关系数据,并通过分布式文件存储数据库将知识图谱进行存储。采用上述方式,本申请通过计算引擎进行知识图谱的计算,通过分布式文件存储数据库对知识图谱进行存储,实现了知识图谱的计算和存储的分离,可以提升数据计算、存储、检索的效率。为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单本文档来自技高网...

【技术保护点】
1.一种知识图谱的存储系统,其特征在于,所述存储系统包括计算引擎和分布式文件存储数据库;其中,/n所述计算引擎,用于获取与目标业务对应的多个实体的实体数据,并根据所述实体数据生成所述目标业务对应的知识图谱;所述实体数据包括所述多个实体中每个实体的属性数据和关系数据;/n所述分布式文件存储数据库,用于获取所述知识图谱,并将所述知识图谱进行存储。/n

【技术特征摘要】
1.一种知识图谱的存储系统,其特征在于,所述存储系统包括计算引擎和分布式文件存储数据库;其中,
所述计算引擎,用于获取与目标业务对应的多个实体的实体数据,并根据所述实体数据生成所述目标业务对应的知识图谱;所述实体数据包括所述多个实体中每个实体的属性数据和关系数据;
所述分布式文件存储数据库,用于获取所述知识图谱,并将所述知识图谱进行存储。


2.根据权利要求1所述的存储系统,其特征在于,所述存储系统还包括管理关系数据库;
所述管理关系数据库,用于存储关系型数据,所述关系型数据包括所述实体数据。


3.根据权利要求1所述的存储系统,其特征在于,所述计算引擎,具体用于根据以下步骤生成所述知识图谱:
根据所述多个实体中每个实体的属性数据,建立每个实体对应的节点在所述知识图谱中的节点数据;
根据所述多个实体中每个实体的关系数据,建立每个实体与其他实体之间在所述知识图谱中的边数据;所述其他实体为所述多个实体中除该实体之外的实体;所述边数据包括属性类型和属性值;
根据所述多个实体中每个实体的节点数据,以及每个实体与其他实体之间在所述知识图谱中的边数据,生成所述知识图谱。


4.根据权利要求1所述的存储系统,其特征在于,所述存储系统还包括连接器;
所述连接器,用于将所述计算引擎生成的所述知识图谱进行序列化,并将所述序列化后的知识图谱发送至所述分布式文件存储数据库。


5.根据权利要求1所述的存储系统,其特征在于,所述分布式文件存储数据库,具体用于根据以下步骤将所述知识图谱进行存储:
将所述知识图谱中的每个实体对应的属性数据和关系数据分别进行存储;所述关系数据以三元组...

【专利技术属性】
技术研发人员:张昭钱学斌
申请(专利权)人:北京明略软件系统有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1