System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,特别是涉及一种图数据库数据处理系统、方法及装置。
技术介绍
1、分布式图数据库是一种以点和边为基础存储单元,基于图结构进行数据存储的数据库,分布式图数据库由多个分散于不同设备中的存储节点组成,每一图数据库单元中均存储有图数据。
2、在相关技术中,若需要从分布式图数据库中提取数据并进行数据处理,处理节点要先从存储节点中查询并获取数据,再对所获取的数据进行处理,在此过程中存储节点需要向处理节点传输大量的数据,消耗大量的数据传输资源。
技术实现思路
1、本申请实施例的目的在于提供一种图数据库数据处理系统、方法及装置,以降低数据处理过程中的数据传输资源消耗。具体技术方案如下:
2、第一方面,本申请实施例提供了一种图数据库数据处理系统,所述系统包括:处理节点与配置有图数据库分区的存储节点;
3、所述处理节点,用于接收针对图数据库中数据的数据处理语句;对所述数据处理语句进行语句分析,得到数据处理单步;将下推单步优化为与配置图数据库分区的存储节点的处理资源相匹配的下推优化单步;向存储节点发送下推优化单步中包含的下推子语句,其中,所述数据处理单步为:与所述处理节点的处理资源相匹配的预定义的逻辑单元,所述下推单步为:指示从图数据库存储中获取数据并进行数据处理的数据处理单步;
4、所述存储节点,用于基于所述下推子语句从图数据库存储中获取数据,并对所获取的数据进行处理,得到下推处理结果;向所述处理节点反馈所述下推处理结果;
6、第二方面,本申请实施例提供了一种图数据库数据处理方法,应用于处理节点,所述方法包括:
7、接收针对图数据库中数据的数据处理语句;
8、对所述数据处理语句进行语句分析,得到数据处理单步,其中,所述数据处理单步为:与所述处理节点的处理资源相匹配的预定义的逻辑单元;
9、将下推单步优化为与配置图数据库分区的存储节点的处理资源相匹配的下推优化单步,其中,所述下推单步为:指示从图数据库存储中获取数据并进行数据处理的数据处理单步;
10、向存储节点发送下推优化单步中包含的下推子语句,以使得所述存储节点基于所述下推子语句从图数据库存储中获取数据并进行数据处理,得到下推处理结果,并向所述处理节点反馈所述下推处理结果;
11、在接收到所述下推处理结果后,执行所述下推单步之外的数据处理单步对所述下推处理结果进行处理,得到数据处理结果。
12、第三方面,本申请实施例提供了一种图数据库数据处理方法,应用于配置有图数据库分区的存储节点,所述方法包括:
13、接收处理节点发送的下推优化单步中包含的下推子语句,其中,所述下推优化单步为:所述处理节点对下推单步进行优化后得到的、与所述存储节点的处理资源相匹配的语句,所述下推单步为:指示从图数据库存储中获取数据并进行数据处理的数据处理单步,所述数据处理单步为:所述处理节点对针对图数据库中数据的数据处理语句进行语句分析后得到的、与所述处理节点的处理资源相匹配的预定义的逻辑单元;
14、基于所述下推子语句从图数据库存储中获取数据,并对所获取的数据进行处理,得到下推处理结果;
15、向所述处理节点反馈所述下推处理结果,以使得所述处理节点执行所述下推单步之外的数据处理单步对所述单步执行结果进行处理,得到数据处理结果。
16、第四方面,本申请实施例提供了一种图数据库数据处理装置,应用于处理节点,所述装置包括:
17、语句接收模块,用于接收针对图数据库中数据的数据处理语句;
18、语句分析模块,用于对所述数据处理语句进行语句分析,得到数据处理单步,其中,所述数据处理单步为:与所述处理节点的处理资源相匹配的预定义的逻辑单元;
19、下推单步优化模块,用于将下推单步优化为与配置图数据库分区的存储节点的处理资源相匹配的下推优化单步,其中,所述下推单步为:指示从图数据库存储中获取数据并进行数据处理的数据处理单步;
20、下推单步发送模块,用于向存储节点发送下推优化单步中包含的下推子语句,以使得所述存储节点基于所述下推子语句从图数据库存储中获取数据并进行数据处理,得到下推处理结果,并向所述处理节点反馈所述下推处理结果;
21、结果处理模块,用于在接收到所述下推处理结果后,执行所述下推单步之外的数据处理单步对所述下推处理结果进行处理,得到数据处理结果。
22、第五方面,本申请实施例提供了一种图数据库数据处理装置,应用于配置有图数据库的存储节点,所述装置包括:
23、下推单步接收模块,用于接收处理节点发送的下推优化单步中包含的下推子语句,其中,所述下推优化单步为:所述处理节点对下推单步进行优化后得到的、与所述存储节点的处理资源相匹配的语句,所述下推单步为:指示从图数据库存储中获取数据并进行数据处理的数据处理单步,所述数据处理单步为:所述处理节点对针对图数据库中数据的数据处理语句进行语句分析后得到的、与所述处理节点的处理资源相匹配的预定义的逻辑单元;
24、下推单步执行模块,用于基于所述下推子语句从图数据库存储中获取数据,并对所获取的数据进行处理,得到下推处理结果;
25、下推结果发送模块,用于向所述处理节点反馈所述下推处理结果,以使得所述处理节点执行所述下推单步之外的数据处理单步对所述单步执行结果进行处理,得到数据处理结果。
26、第六方面,本申请实施例提供了一种电子设备,包括:
27、存储器,用于存放计算机程序;
28、处理器,用于执行存储器上所存放的程序时,实现第二方面或第三方面任一所述的方法。
29、第七方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第二方面或第三方面任一所述的方法。
30、第八方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面或第三方面任一所述的方法。
31、本申请实施例有益效果:
32、本申请实施例提供的图数据库数据处理系统中,处理节点在接收到数据处理语句后首先对数据处理语句进行语句分析,得到各个数据处理单步,再对数据处理单步中包含的下推单步进行优化得到存储节点能够执行的下推优化单步,处理节点将下推优化单步中的下推子语句发送至存储节点后,存储节点基于下推子语句从图数据库存储中获取数据并对所获取的数据进行处理,得到下推处理结果。存储节点向处理节点反馈下推处理结果,处理节点便可以对下推处理结果进行处理得到数据处理结果。
33、由此可见,在本申请实施例提供的方案中,在需要对图数据库中的数据进行处理时,处理节点通过将下推优化单步发送至本文档来自技高网...
【技术保护点】
1.一种图数据库数据处理系统,其特征在于,所述系统包括:处理节点与配置有图数据库分区的存储节点;
2.一种图数据库数据处理方法,其特征在于,应用于处理节点,所述方法包括:
3.根据权利要求2所述的方法,其特征在于,在所述在接收所述下推处理结果后,执行所述下推单步之外的数据处理单步对所述下推处理结果进行处理,得到数据处理结果之前,还包括:
4.根据权利要求2或3所述的方法,其特征在于,所述向存储节点发送下推优化单步中包含的下推子语句,包括:
5.一种图数据库数据处理方法,其特征在于,应用于配置有图数据库分区的存储节点,所述方法包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述下推子语句从图数据库存储中获取数据,并对所获取的数据进行处理,得到下推处理结果,包括:
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
8.根据权利要求5所述的方法,其特征在于,所述基于所述下推子语句从图数据库存储中获取数据,并对所获取的数据进行处理,得到下推处理结果,包括:
9.一种图数据库
10.一种图数据库数据处理装置,其特征在于,应用于配置有图数据库的存储节点,所述装置包括:
11.一种电子设备,其特征在于,包括:
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求2-4或5-8任一所述的方法。
...【技术特征摘要】
1.一种图数据库数据处理系统,其特征在于,所述系统包括:处理节点与配置有图数据库分区的存储节点;
2.一种图数据库数据处理方法,其特征在于,应用于处理节点,所述方法包括:
3.根据权利要求2所述的方法,其特征在于,在所述在接收所述下推处理结果后,执行所述下推单步之外的数据处理单步对所述下推处理结果进行处理,得到数据处理结果之前,还包括:
4.根据权利要求2或3所述的方法,其特征在于,所述向存储节点发送下推优化单步中包含的下推子语句,包括:
5.一种图数据库数据处理方法,其特征在于,应用于配置有图数据库分区的存储节点,所述方法包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述下推子语句从图数据库存储中获取数据,...
【专利技术属性】
技术研发人员:浦世亮,张锦涛,彭思哲,胡健超,樊良帅,
申请(专利权)人:杭州海康威视数字技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。