一种知识图谱数据的多路归并方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种知识图谱数据的多路归并方法、装置、设备及介质，涉及数据存储技术领域，包括获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树；构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；计算每个位向量的超限值，使用预设的数据结构为位向量建立索引；从字符数组中读取前缀字符，利用索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据；将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量，本发明专利技术优化了多路精简知识图谱数据归并过程中内存开销过大的问题，实现了归并紧凑图谱数据的有序存储。谱数据的有序存储。谱数据的有序存储。

【技术实现步骤摘要】
一种知识图谱数据的多路归并方法、装置、设备及介质


[0001]本专利技术涉及数据存储
，具体而言，涉及一种知识图谱数据的多路归并方法、装置、设备及介质。

技术介绍

[0002]知识图谱作为目前主流的知识存储介质之一，随着知识构建过程的自动化和作为资源库的互联网数据的膨胀，知识图谱数据量出现了大规模增长。利用紧凑存储结构和列存储方法可以较好的利用数据之间的关联性实现大规模知识图谱数据的压缩表示，一般参与压缩的数据规模越大，数据压缩率就越高，但相对地要求更高的临时工作空间。在多路压缩图谱数据的归并过程中，如果需要将全量的数据加载进入内存，则数据压缩的成本会被大幅度放大，相较于磁盘成本的减小，内存开销的提升可能使得数据压缩优化得不偿失。

技术实现思路

[0003]本专利技术的目的在于提供一种知识图谱数据的多路归并方法、装置、设备及介质，以改善上述问题。为了实现上述目的，本专利技术采取的技术方案如下：
[0004]第一方面，本申请提供了一种知识图谱数据的多路归并方法，包括：
[0005]获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点，且结点与结点之间设置有前缀字符，每个前缀字符覆盖有至少一个子树；
[0006]构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；
[0007]计算每个位向量的超限值，基于所述超限值使用预设的数据结构为位向量建立索引；
[0008]从字符数组中读取前缀字符，并利用所述索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据，直到所有的前缀字符读取完毕；
[0009]将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量。
[0010]第二方面，本申请还提供了一种知识图谱数据的多路归并装置，包括：
[0011]获取模块：用于获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点，且结点与结点之间设置有前缀字符，每个前缀字符覆盖有至少一个子树；
[0012]构建模块：用于构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；
[0013]计算模块：用于计算每个位向量的超限值，基于所述超限值使用预设的数据结构为位向量建立索引；
[0014]读取模块：用于从字符数组中读取前缀字符，并利用所述索引抽取所读取到的前
缀字符所覆盖的子树的拓扑数据，直到所有的前缀字符读取完毕；
[0015]归还模块：用于将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量。
[0016]第三方面，本申请还提供了一种知识图谱数据的多路归并设备，包括：
[0017]存储器，用于存储计算机程序；
[0018]处理器，用于执行所述计算机程序时实现所述知识图谱数据的多路归并方法的步骤。
[0019]第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于知识图谱数据的多路归并方法的步骤。
[0020]本专利技术的有益效果为：
[0021]本专利技术通过采用基于位域的深度优先树路径压缩方法，实现了紧凑编码及知识图谱数据中实体和关系属性的自索引压缩，优化了多路精简知识图谱数据归并过程中内存开销过大的问题，最终实现归并紧凑图谱数据的有序存储。
[0022]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0023]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0024]图1为本专利技术实施例中所述的知识图谱数据的多路归并方法流程示意图；
[0025]图2为本专利技术实施例中前缀树的结构示意图；
[0026]图3为本专利技术实施例中DFUDS T i re编码示意图；
[0027]图4为本专利技术实施例中子树所对应的数据在位向量中的分布区间示意图；
[0028]图5为本专利技术实施例中待归并的子树结构示意图；
[0029]图6为本专利技术实施例中所述的知识图谱数据的多路归并装置结构示意图；
[0030]图7为本专利技术实施例中所述的知识图谱数据的多路归并设备结构示意图。
[0031]图中标记：
[0032]01、获取模块；02、构建模块；021、第一构建单元；022、遍历单元；023、第一存储单元；024、分割单元；03、计算模块；031、采集单元；032、第一获取单元；033、第二构建单元；034、索引建立单元；04、读取模块；041、第二获取单元；042、判断单元；05、归还模块；051、归还模块；052、第二存储单元；
[0033]800、知识图谱数据的多路归并设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
[0034]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0036]实施例1：
[0037]本实施例提供了一种知识图谱数据的多路归并方法。
[0038]参见图1，图中示出了本方法包括：
[0039]S1.获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点，且结点与结点之间设置有前缀字符，具体的，所述父结点与子结点之间设置有前缀字符，每个前缀字符覆盖有至少一个子树，如图2所示；
[0040]基于以上实施例，本方法还包括：
[0041]S2.构建位向量，基于预设的编码方式将每个前缀树中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识图谱数据的多路归并方法，其特征在于，包括：获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点，且结点与结点之间设置有前缀字符，每个前缀字符覆盖有至少一个子树；构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；计算每个位向量的超限值，基于所述超限值使用预设的数据结构为位向量建立索引；从字符数组中读取前缀字符，并利用所述索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据，直到所有的前缀字符读取完毕；将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量。2.根据权利要求1所述的知识图谱数据的多路归并方法，其特征在于,所述构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中，包括：构建位向量，并将所述位向量初始化；获取前缀树，从前缀树的根结点开始遍历，将遍历到的结点以字符串的形式插入位向量中；将结点之间的前缀字符首尾相邻存储在字符数组中；将一个结点对应的位向量分割为多个区间，将一个结点所覆盖的所有子树的树拓扑数据依次存储在多个区间内。3.根据权利要求1所述的知识图谱数据的多路归并方法，其特征在于,所述计算每个位向量的超限值，基于所述超限值使用预设数据结构为位向量建立索引，包括：在所述位向量的区间内采集超限值；获取采集到的超限值中的最大值和最小值；将所述超限值中的最大值和最小值作为节点构建完全二叉树；利用所述完全二叉树为位向量建立索引。4.根据权利要求1所述的知识图谱数据的多路归并方法，其特征在于,所述从字符数组中读取前缀字符，并利用所述索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据，直到所有的前缀字符读取完毕，包括：获取每个子树的容量，并根据每个子树的容量计算属于一个前缀字符的所有子树的容量总和；判断所述容量总和是否超过预设内存占用阈值：若不超过，则将所述前缀字符作为公共前缀，抽取所述公共前缀所包含的子树的拓扑数据；若超过，则放弃所述前缀字符，继续读取下一个前缀字符。5.一种知识图谱数据的多路归并装置，其特征在于，包括：获取模块：用于获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点...

【专利技术属性】
技术研发人员：滕飞，祝锦烨，赵越，马征，郝莉，韦洪雷，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：