数据存储方法、数据获取方法、装置和存储介质制造方法及图纸

技术编号:29283499 阅读:16 留言:0更新日期:2021-07-16 23:37
本发明专利技术公开了一种数据存储方法、数据获取方法、装置和存储介质,所述数据存储方法包括:获取待存储数据,对所述待存储数据进行封装,得到封装数据;将所述封装数据保存在消息队列;所述消息队列中的所述封装数据由至少一个消费者群组中各消费者群组从所述消息队列中获取,并将所述封装数据保存在相应消费者群组对应的节点中。本发明专利技术提供的方案通过各消费者群组获得相应数据并存储在相应节点中,在Neo4j社区版实现数据库集群的功能。Neo4j社区版实现数据库集群的功能。Neo4j社区版实现数据库集群的功能。

Data storage method, data acquisition method, device and storage medium

【技术实现步骤摘要】
数据存储方法、数据获取方法、装置和存储介质


[0001]本专利技术涉及云计算技术,尤其涉及一种数据存储方法、数据获取方法、装置和计算机可读存储介质。

技术介绍

[0002]集群技术是一项在较低成本下能有效提高系统整体性能、可靠性、灵活性和可扩展性,并广泛应用于生产系统的必备技术。以面向网络的数据库(Neo4j图形数据库,简称Neo4j)集群为例,Neo4j集群需要具备即使在网络或者硬件发生故障时,仍然可以继续提供服务的能力。如果集群中的一个节点损坏或者网络连接断开,Neo4j集群应该能够继续提供服务,而不是完全失去服务能力。
[0003]现有的Neo4j集群只在Neo4j企业版提供数据库集群的功能,而Neo4j社区版不支持集群的功能。

技术实现思路

[0004]有鉴于此,本专利技术的主要目的在于提供一种数据存储方法、数据获取方法、装置和计算机可读存储介质。
[0005]为达到上述目的,本专利技术的技术方案是这样实现的:
[0006]本专利技术实施例提供了一种数据存储方法,所述方法包括:
[0007]获取待存储数据,对所述待存储数据进行封装,得到封装数据;
[0008]将所述封装数据保存在消息队列;所述消息队列中的所述封装数据由至少一个消费者群组中各消费者群组从所述消息队列中获取,并将所述封装数据保存在相应消费者群组对应的节点中。
[0009]上述方案中,所述获取待存储数据,包括以下至少之一:
[0010]自动收集待存储数据;
[0011]接收目标数据表格,所述目标数据表格包括以预设格式保存的数据。
[0012]本专利技术实施例提供了一种数据存储方法,所述方法包括:
[0013]从消息队列中获取封装数据;
[0014]将所述封装数据保存在相应消费者群组对应的节点中。
[0015]上述方案中,将所述封装数据保存在相应消费者群组对应的节点中之前,所述方法还包括:
[0016]对所述封装数据进行数据校验,确定所述封装数据校验合格时,对所述封装数据进行解封装,获得解封装数据;
[0017]相应地,将所述封装数据保存在相应消费者群组对应的节点中,包括:
[0018]确定预设的存储格式;
[0019]对所述解封装数据进行格式处理,获得所述存储格式的解封装数据,作为目标存储数据;
[0020]将所述目标存储数据发送给相应消费者群组对应的节点中,所述目标存储数据由所述相应消费者群组对应的节点保存。
[0021]上述方案中,所述方法还包括:
[0022]相应于消费者群组对应的节点未能接收并存储所述目标存储数据,消费者群组重新将所述目标存储数据发送给所述消费者群组对应的节点,直至所述消费者群组对应的节点完成存储。
[0023]本专利技术实施例提供了一种数据获取方法,所述方法包括:
[0024]接收终端发送的查询请求;
[0025]确定至少一个节点中各节点的状态,将所述查询请求发送给符合预设条件的节点,以获得所述查询请求对应的数据,将获得的所述数据发送给终端;所述至少一个节点中各节点均保存有消费者群组发送的目标存储数据。
[0026]本专利技术实施例提供了一种数据存储装置,所述装置包括:第一处理模块和第二处理模块;其中,
[0027]所述第一处理模块,用于获取待存储数据,对所述待存储数据进行封装,得到封装数据;
[0028]所述第二处理模块,用于将所述封装数据保存在消息队列;所述消息队列中的所述封装数据由至少一个消费者群组中各消费者群组从所述消息队列中获取,并将所述封装数据保存在相应消费者群组对应的节点中。
[0029]上述方案中,所述第一处理模块,用于获取待存储数据,包括以下至少之一:
[0030]自动收集待存储数据;
[0031]接收目标数据表格,所述目标数据表格包括以预设格式保存的数据。
[0032]本专利技术实施例提供了一种数据存储装置,所述装置包括:第三处理模块和第四处理模块;
[0033]所述第三处理模块,用于从消息队列中获取封装数据;
[0034]所述第四处理模块,用于将所述封装数据保存在相应消费者群组对应的节点中。
[0035]上述方案中,所述第四处理模块,还用于对所述封装数据进行数据校验,确定所述封装数据校验合格时,对所述封装数据进行解封装,获得解封装数据;
[0036]所述第四处理模块,具体用于确定预设的存储格式;
[0037]对所述解封装数据进行格式处理,获得所述存储格式的解封装数据,作为目标存储数据;
[0038]将所述目标存储数据发送给相应消费者群组对应的节点中,所述目标存储数据由所述相应消费者群组对应的节点保存。
[0039]上述方案中,所述第三处理模块,还用于相应于消费者群组对应的节点未能接收并存储所述目标存储数据,将所述目标存储数据发送给所述消费者群组对应的节点,直至所述消费者群组对应的节点完成存储。
[0040]本专利技术实施例提供了一种数据获取装置,所述装置包括:第五处理模块和第六处理模块;其中,
[0041]所述第五处理模块,用于接收终端发送的查询请求;
[0042]所述第六处理模块,用于确定至少一个节点中各节点的状态,将所述查询请求发
送给符合预设条件的节点,以获得所述查询请求对应的数据,将获得的所述数据发送给终端;所述至少一个节点中各节点均保存有消费者群组发送的目标存储数据。
[0043]本专利技术实施例提供了一种数据处理装置,所述装置包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
[0044]所述处理器用于运行所述计算机程序时,执行所述数据存储方法的步骤;或者,执行所述数据获取方法的步骤。
[0045]本专利技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述数据存储方法的步骤;或者,所述计算机程序被处理器执行时实现所述数据获取的步骤。
[0046]本专利技术实施例所提供的数据存储方法、数据获取方法、装置和计算机可读存储介质,获取待存储数据,对所述待存储数据进行封装,得到封装数据;将所述封装数据保存在消息队列;所述消息队列中的所述封装数据由至少一个消费者群组中各消费者群组从所述消息队列中获取,并将所述封装数据保存在相应消费者群组对应的节点中;如此,通过各消费者群组获得相应数据并存储在相应节点中,以在Neo4j社区版实现数据库集群的功能。
附图说明
[0047]图1为相关技术中一种企业版集群架构的示意图;
[0048]图2为本专利技术实施例提供的一种数据存储方法的流程示意图;
[0049]图3为本专利技术实施例提供的另一种数据存储方法的流程示意图;
[0050]图4为本专利技术实施例提供的一种数据获取方法的流程示意图;
[0051]图5为本专利技术实施例提供的一种Neo4j社区版集群实现架构的示意图;
[00本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,所述方法包括:获取待存储数据,对所述待存储数据进行封装,得到封装数据;将所述封装数据保存在消息队列;所述消息队列中的所述封装数据由至少一个消费者群组中各消费者群组从所述消息队列中获取,并将所述封装数据保存在相应消费者群组对应的节点中。2.根据权利要求1所述的方法,其特征在于,所述获取待存储数据,包括以下至少之一:自动收集待存储数据;接收目标数据表格,所述目标数据表格包括以预设格式保存的数据。3.一种数据存储方法,其特征在于,所述方法包括:从消息队列中获取封装数据;将所述封装数据保存在相应消费者群组对应的节点中。4.根据权利要求3所述的方法,其特征在于,将所述封装数据保存在相应消费者群组对应的节点中之前,所述方法还包括:对所述封装数据进行数据校验,确定所述封装数据校验合格时,对所述封装数据进行解封装,获得解封装数据;相应地,将所述封装数据保存在相应消费者群组对应的节点中,包括:确定预设的存储格式;对所述解封装数据进行格式处理,获得所述存储格式的解封装数据,作为目标存储数据;将所述目标存储数据发送给相应消费者群组对应的节点中,所述目标存储数据由所述相应消费者群组对应的节点保存。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:相应于消费者群组对应的节点未能接收并存储所述目标存储数据,消费者群组重新将所述目标存储数据发送给所述消费者群组对应的节点,直至所述消费者群组对应的节点完成存储。6.一种数据获取方法,其特征在于,所述方法包括:接收终端发送的查询请求;确定至少一个节点中各节点的状态,将所述查询请求发送给符合预设条件的节点,以获得所述查询请求对应的数据,将获得的所述数据发送给终端;所述至少一个节点中各节点均保存有消费者群组发送的目标存储数据。7.一种数据存储装置,其特征在于,所述装置包括:第一处理模块和第二处理模块;其中,所述第一处理模块,用于获取待存储数据,对所述待存储数据进行封装,得到封装数据;所述第二处理模块,用于将所述封装数据保存在消息队列;所述消息队列中的所述封装数据由至少一个消费者群组中各消费者群组从所述消息队列中获取,并将所述封装数据保存在相应消费者群组对应的节点中。8.根据权利要...

【专利技术属性】
技术研发人员:吴剑
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1