一种面向分布式图数据库的数据快速装载方法、系统、设备及存储介质技术方案

技术编号:41460298 阅读:31 留言:0更新日期:2024-05-28 20:45
本发明专利技术公开了一种面向分布式图数据库的数据快速装载方法、系统、设备及存储介质,通过在解析系统中提前引入存储系统的rowId,设计了分布式图数据库系统边双存的关联信息处理方案,简化了分布式下边跨节点的处理逻辑,使存储系统依据预分配的rowId实现快速落盘;提出了一套有限内存系统下维护点的key与rowId关系的hash方案,并且在多数场景下可以直接获得rowId而避免与磁盘数据的比较,达到在小内存系统中快速装载的目的。

【技术实现步骤摘要】

本专利技术涉及数据库处理,尤其是一种面向分布式图数据库的数据快速装载方法、系统、设备及存储介质


技术介绍

1、分布式图数据库系统由于点数据分布在不同的存储节点上(在分段图数据库系统上是点数据分布在不同的段节点上),导致边的起止顶点和终止顶点可能不在同一个存储单元上。常见的处理方式有两种:第一种是边只跟随着起始顶点或者终止顶点存放,但是当用户指定终止顶点查询邻接边时,如果边是跟随着起始顶点存放,那么需要增加额外的交互才能获取到起始顶点上的边。第二种是边同时跟随着起止顶点和终止顶点存放,双存边信息的方式必然会引起边存储数据的膨胀,但是由于图数据库大多用于数据分析,这种能加速查询的方式也是目前主流的处理方法。

2、为了实现分布式图数据库系统中边双存的方案,要求在数据装载过程中必须将边存储在起始顶点与终止顶点两个存储单元上(如果起始顶点与终止顶点恰好属于同一个存储单元,那么也只需要存储一份边数据)。同一条边被存储在两个存储单元上,必然要增加一些关联性信息,用来表示两个存储单元上的边实际为同一条边。边的信息中通常包含起始顶点的key(主键)与终止顶点的本文档来自技高网...

【技术保护点】

1.一种面向分布式图数据库的数据快速装载方法,其特征在于,包括如下步骤:

2.如权利要求1所述的面向分布式图数据库的数据快速装载方法,其特征在于,步骤1中,一条跨节点的边,其上标识着自身信息与rowId、起始顶点的rowId、终止顶点的rowId和远端存储同一条边的rowId。

3.如权利要求1所述的面向分布式图数据库的数据快速装载方法,其特征在于,步骤3中,选择hash表来维护键值对的映射关系,对于点的插入过程包括如下步骤:

4.如权利要求1所述的面向分布式图数据库的数据快速装载方法,其特征在于,步骤3中,选择hash表来维护键值对的映射关系,对于点...

【技术特征摘要】

1.一种面向分布式图数据库的数据快速装载方法,其特征在于,包括如下步骤:

2.如权利要求1所述的面向分布式图数据库的数据快速装载方法,其特征在于,步骤1中,一条跨节点的边,其上标识着自身信息与rowid、起始顶点的rowid、终止顶点的rowid和远端存储同一条边的rowid。

3.如权利要求1所述的面向分布式图数据库的数据快速装载方法,其特征在于,步骤3中,选择hash表来维护键值对的映射关系,对于点的插入过程包括如下步骤:

4.如权利要求1所述的面向分布式图数据库的数据快速装载方法,其特征在于,步骤3中,选择hash表来维护键值对的映射关系,对于点的查找过程包括如下步骤:

5.一种如权利要求1所述的面向分布式图数据库的数据快速装载方法的装载系统,其特征在于,包括:文件解析系统、rowld分配系统、hash系统和图数据库系统;文件解析系统负责数据文件的读取,并按照表的描述信息将文本数据解析为点或边信息,rowid分配系统负责为解析数据分配唯一标识id,hash系统维护点的ke...

【专利技术属性】
技术研发人员:于骞付新王学海徐奇
申请(专利权)人:达梦数据技术江苏有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1