基于分布式的数据存取方法及系统技术方案

本发明专利技术提供一种基于分布式的数据存取方法及系统，方法包括：当接收到针对目标数据的数据请求命令时，检测记录数据库中是否存在所述目标数据的唯一标识；如果存在，则基于所述记录数据库中存储的唯一标识与服务节点的标识信息的映射关系确定存储目标数据的第一目标服务节点，并将第一目标服务节点的标识信息反馈至当前服务节点；当前服务节点接收到第一目标服务节点的标识信息后，向第一目标服务节点发送数据请求命令，以请求目标数据。本方案有效减少了减少资源架构，节约资源。减少运维成本，提高了分布式数据存取效率。提高了分布式数据存取效率。提高了分布式数据存取效率。

【技术实现步骤摘要】
基于分布式的数据存取方法及系统


[0001]本专利技术涉及数据处理
，尤涉及一种基于分布式的数据存取方法及系统。

技术介绍

[0002]分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。
[0003]专利技术人发现，现有技术中的分布式文件存储系统例如GlusterFS、HDFS、Ceph等或是使用对象存储的方式进行存储数据时，会存在如下问题：
[0004]对于一些存储资源较小的项目，其系统架构较为庞大，容易造成资源浪费，且在进行运维时同样会消耗较大的资源；
[0005]现有技术中分布式存取方案通常是通过哈希算法，将请求转发至同一节点，如果该节点需要伸缩空，则需要重新哈希配置，加大了运维成本，降低了分布式数据存取的效率。
[0006]高可用集群使用主备存储方式，导致节点利用不充分。

技术实现思路

[0007]有鉴于此，为解决上述问题，本专利技术提供了一种基于分布式的数据存取方法及系统。
[0008]第一方面，本专利技术实施例提供一种基于分布式的数据存取方法，应用于分布式的服务节点，所述方法包括如下步骤：
[0009]当接收到针对目标数据的数据请求命令时，检测记录数据库中是否存在所述目标数据的唯一标识；
[0010]如果存在，则基于所述记录数据库中存储的唯一标识与服务节点的标识信息的映射关系确定存储目标数据的第一目标服务节点，并将第一目标服务节点的标识信息反馈至当前服务节点；
[0011]当前服务节点接收到第一目标服务节点的标识信息后，向第一目标服务节点发送数据请求命令，以请求目标数据。
[0012]在一个实施方式中，所述当前服务节点接收到第一目标服务节点的标识信息后，向第一目标服务节点发送数据请求命令，以请求目标数据，包括：
[0013]如果第一目标服务节点的标识信息与当前服务节点的标识信息相同，则从当前服务节点的本地存储中读取所述目标数据；
[0014]如果第一目标服务节点的标识信息与当前服务节点的标识信息不同，则启动数据获取线程，并与第一目标服务节点通信，当接收到第一目标服务器节点的反馈命令后，生成数据传输通道，以获取所述目标数据。
[0015]在一个实施方式中，如果第一目标服务节点的标识信息与当前服务节点的标识信
息不同，但无法从第一目标服务节点中获取所述目标数据，所述方法，还包括：
[0016]向对应的资源源站发送目标数据请求命令；
[0017]资源源站反馈的目标数据到达均衡器之后，均衡器基于各服务节点的数据存储情况确定本次存储目标数据对应的第二目标服务节点；
[0018]如果均衡器判定第二目标服务节点为当前服务节点，则发送目标数据至当前服务节点；
[0019]如果均衡器判定第二目标服务节点不为当前服务节点，则将目标数据发送至第二目标服务节点，并将第二目标服务节点的标识信息发送至当前服务节点；
[0020]第二目标节点在接收到目标数据后，将目标数据对应的唯一标识与第二目标节点的标识信息的映射关系存储至记录数据库。
[0021]在一个实施方式中，所述方法还包括：
[0022]如果不存在，则当前服务节点接收到记录数据库反馈的“目标数据不存在”的反馈信息后，向对应的资源源站发送目标数据请求命令；
[0023]资源源站反馈的目标数据到达均衡器之后，均衡器基于各服务节点的数据存储情况确定本次存储目标数据对应的第三目标服务节点；
[0024]如果第三目标服务节点为当前服务节点，则均衡器发送目标数据至当前服务节点；
[0025]如果第三目标服务节点不为当前服务节点，则将目标数据发送至第三目标服务节点，并将第三目标服务节点的标识信息发送至当前服务节点。
[0026]在一个实施方式中，所述方法还包括：
[0027]当前服务节点接收到第三目标服务节点的标识信息后，启动数据获取线程，并与第三目标服务节点通信，当接收到第三目标服务节点的反馈命令后，生成数据传输通道，以获取所述目标数据。
[0028]在一个实施方式中，所述方法还包括：
[0029]第三目标服务节点接收到目标数据之后，将第三目标服务节点的标识信息与目标数据的唯一标识的映射关系更新至记录数据库。
[0030]第二方面，本专利技术实施例还提供一种基于分布式的数据存取系统，包括：
[0031]当前服务节点，接收针对目标数据的数据请求命令，并将所述目标数据请求命令发送至记录数据库；
[0032]记录数据库，用于接收到针对目标数据的数据请求命令时，检测记录数据库中是否存在所述目标数据的唯一标识；以及
[0033]如果存在目标数据的唯一标识，则基于所述记录数据库中存储的唯一标识与服务节点的标识信息的映射关系确定存储目标数据的第一目标服务节点，并将第一目标服务节点的标识信息反馈至当前服务节点；
[0034]当前服务节点，还用于接收到第一目标服务节点的标识信息后，向第一目标服务节点发送数据请求命令，以请求目标数据；
[0035]第一目标服务节点，存储有目标数据。
[0036]在一个实施方式中，所述基于分布式的数据存取系统还包括：
[0037]资源源站，用于接收当前服务节点接收到记录数据库反馈的“目标数据不存在”的
反馈信息后发送的目标数据请求命令，并将目标数据请求命令对应的目标数据传输至均衡器；
[0038]均衡器，接收资源源站发送的目标数据，并基于各服务节点的数据存储情况确定本次存储目标数据对应的第三目标服务节点；、
[0039]所述均衡器，还用于：
[0040]如果第三目标服务节点为当前服务节点，则发送目标数据至当前服务节点；
[0041]如果第三目标服务节点不为当前服务节点，则将目标数据发送至第三目标服务节点，并将第三目标服务节点的标识信息发送至当前服务节点。
[0042]第三方面，根据本专利技术实施例提供的一种基于分布式的数据存取装置，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面中任一项所述的基于分布式的数据存取方法。
[0043]第四方面，根据本专利技术实施例提供的一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现第一方面中任一项所述的基于分布式的数据存取方法。
[0044]本专利技术实施例提供的基于分布式的数据存取方法及系统，至少具有如下有益效果：
[0045]本专利技术实施例提供的基于分布式的数据存取方法及系统，通过查询数据存储记录的方式，以确定对应目标数据所在的节点，并进行数据的存取。不必使用第三方管理系统即可进行分布式数据存取，减少资源架构，节约资源。适用于项目需求较小的分布式存储系统。每个服务节点都可请求存取数据，不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式的数据存取方法，应用于分布式的服务节点，其特征在于，所述方法包括：当接收到针对目标数据的数据请求命令时，检测记录数据库中是否存在所述目标数据的唯一标识；如果存在，则基于所述记录数据库中存储的唯一标识与服务节点的标识信息的映射关系确定存储目标数据的第一目标服务节点，并将第一目标服务节点的标识信息反馈至当前服务节点；当前服务节点接收到第一目标服务节点的标识信息后，向第一目标服务节点发送数据请求命令，以请求目标数据。2.根据权利要求1所述的基于分布式的数据存取方法，其特征在于，所述当前服务节点接收到第一目标服务节点的标识信息后，向第一目标服务节点发送数据请求命令，以请求目标数据，包括：如果第一目标服务节点的标识信息与当前服务节点的标识信息相同，则从当前服务节点的本地存储中读取所述目标数据；如果第一目标服务节点的标识信息与当前服务节点的标识信息不同，则启动数据获取线程，并与第一目标服务节点通信，当接收到第一目标服务器节点的反馈命令后，生成数据传输通道，以获取所述目标数据。3.根据权利要求2所述的基于分布式的数据存取方法，其特征在于，如果第一目标服务节点的标识信息与当前服务节点的标识信息不同，但无法从第一目标服务节点中获取所述目标数据，所述方法，还包括：向对应的资源源站发送目标数据请求命令；资源源站反馈的目标数据到达均衡器之后，均衡器基于各服务节点的数据存储情况确定本次存储目标数据对应的第二目标服务节点；如果均衡器判定第二目标服务节点为当前服务节点，则发送目标数据至当前服务节点；如果均衡器判定第二目标服务节点不为当前服务节点，则将目标数据发送至第二目标服务节点，并将第二目标服务节点的标识信息发送至当前服务节点；第二目标节点在接收到目标数据后，将目标数据对应的唯一标识与第二目标节点的标识信息的映射关系存储至记录数据库。4.根据权利要求1所述的基于分布式的数据存取方法，其特征在于，所述方法还包括：如果不存在，则当前服务节点接收到记录数据库反馈的“目标数据不存在”的反馈信息后，向对应的资源源站发送目标数据请求命令；资源源站反馈的目标数据到达均衡器之后，均衡器基于各服务节点的数据存储情况确定本次存储目标数据对应的第三目标服务节点；如果第三目标服务节点为当前服务节点，则均衡器发送目标数据至当前服务节点；如果第三目标服务节点不为当前服务节点，则将目标数据发送至第三目标服务节点，并将第三目标服务节点的标识信息发送至当前服务...

【专利技术属性】
技术研发人员：孙浩，杨波，
申请(专利权)人：华云数据控股集团有限公司，
类型：发明
国别省市：