分布式存储方法及装置、网络节点及存储介质制造方法及图纸

技术编号:24119970 阅读:24 留言:0更新日期:2020-05-13 02:47
本发明专利技术提供一种分布式存储方法,应用于分布式存储网络的网络节点,所述方法包括:接收指定数据的存储请求;根据预设存储周期建立时间窗口数组;从所述时间窗口数组中确定所述指定数据对应的时间窗口,将所述指定数据的存储任务插入确定的时间窗口;按照所述预设存储周期和所述确定的时间窗口执行所述指定数据的存储任务,从所述分布式存储网络中确定目标节点,将所述指定数据存储到所述目标节点。本发明专利技术还提供一种分布式存储装置、网络节点及存储介质。本发明专利技术可以使单个网络节点均衡地执行存储任务。

【技术实现步骤摘要】
分布式存储方法及装置、网络节点及存储介质
本专利技术涉及计算机网络
,具体涉及一种分布式存储方法及装置、网络节点和计算机可读存储介质。
技术介绍
分布式存储网络是将数据分散存储在多台独立的设备上。每一个数据都对应若干数量的存储设备(即网络节点),并且单个存储设备上会同时存储多个数据。现有的分布式存储网络,例如DHT(DistributedHashTable,哈希表)网络中的单个网络节点可能在短时间收到大量的存储请求。如果该网络节点直接向存储网络进行数据存储,后续进行周期性地重存储,可能导致该网络节点出现短时间CPU负载过高,网络丢包等问题,影响该网络节点存储功能的实现。
技术实现思路
鉴于以上内容,有必要提出一种分布式存储方法、分布式存储装置、网络节点、计算机可读存储介质和计算机程序产品,其可以使单个网络节点均衡地执行存储任务。本申请的第一方面提供一种分布式存储方法,应用于分布式存储网络的网络节点,所述方法包括:接收指定数据的存储请求;根据预设存储周期建立时间窗口数组;从所述时间窗口数组中确定所述指定数据对应的时间窗口,将所述指定数据的存储任务插入确定的时间窗口;按照所述预设存储周期和所述确定的时间窗口执行所述指定数据的存储任务,从所述分布式存储网络中确定目标节点,将所述指定数据存储到所述目标节点。另一种可能的实现方式中,所述从所述时间窗口数组中确定所述指定数据对应的时间窗口包括:从所述时间窗口数组中确定起始时间窗口;从所述起始时间窗口开始选择一个时间窗口,判断选择的时间窗口的存储任务是否满足预设条件;若选择的时间窗口的存储任务满足预设条件,则将所述指定数据的存储任务加入所述选择的时间窗口。另一种可能的实现方式中,所述判断选择的时间窗口的存储任务是否满足预设条件包括:判断所述选择的时间窗口的存储任务数或加权存储任务数是否小于所述时间窗口数组的平均存储任务数与预设常数之和。另一种可能的实现方式中,所述从所述时间窗口数组中确定起始时间窗口包括:计算所述网络节点的当前时间与预设初始时间的时间差秒数;用所述时间差秒数对所述时间窗口数组的长度取模,得到所述起始时间窗口在所述时间窗口数组中的位置。另一种可能的实现方式中,所述从所述分布式存储网络中确定目标节点包括:根据所述分布式存储网络的各个网络节点的节点ID与所述指定数据的标识信息计算所述各个网络节点与所述指定数据的距离;将与所述指定数据的距离最小的指定数量的网络节点确定为所述目标节点。另一种可能的实现方式中,所述根据所述分布式存储网络的各个网络节点的节点ID与所述指定数据的标识信息计算所述各个网络节点与所述指定数据的距离包括:将所述各个网络节点的节点ID与所述指定数据的标识信息进行异或运算,得到所述各个网络节点与所述指定数据的距离。另一种可能的实现方式中,所述从所述分布式存储网络中确定目标节点包括:根据所述存储请求的请求方所属的区域和运营商以及各个网络节点所属的区域和运营商选取候选节点;判断所述候选节点是否满足筛选条件;若所述候选节点满足筛选条件,则将所述候选节点作为所述目标节点。本申请的第二方面提供一种网络节点,所述网络节点包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现所述分布式存储方法。本申请的第三方面提供一种分布式存储装置,应用于分布式存储网络的网络节点,所述装置包括:接收单元,用于接收指定数据的存储请求;建立单元,用于根据预设存储周期建立时间窗口数组;插入单元,从所述时间窗口数组中确定所述指定数据对应的时间窗口,将所述指定数据的存储任务插入确定的时间窗口;执行单元,用于按照所述预设存储周期和所述确定的时间窗口执行所述指定数据的存储任务,从所述分布式存储网络中确定目标节点,将所述指定数据存储到所述目标节点。本申请的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述分布式存储方法。本申请的第五方面提供一种计算机程序产品,包括计算机指令,当其在网络节点上运行时,使得网络节点执行所述分布式存储方法。本专利技术接收指定数据的存储请求;根据预设存储周期建立时间窗口数组;从所述时间窗口数组中确定所述指定数据对应的时间窗口,将所述指定数据的存储任务插入确定的时间窗口;按照所述预设存储周期和所述确定的时间窗口执行所述指定数据的存储任务,从所述分布式存储网络中确定目标节点,将所述指定数据存储到所述目标节点。本专利技术能够使单个网络节点均衡地执行存储任务,避免网络节点出现短时间负载过高,导致数据丢失或存储失败等问题,提升了网络节点存储数据的数量,保证了网络节点的存储功能的实现。附图说明图1是本专利技术实施例提供的分布式存储方法的流程图。图2是本专利技术实施例提供的分布式存储装置的流程图。图3是本专利技术实施例提供的网络节点的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本专利技术,并不用于限定本专利技术。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是,在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本专利技术要求的保护范围之内。优选地,本专利技术的分布式存储方法应用在一个或者多个网络节点中。所述网络节点是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、可编程门阵列(Field-ProgrammableGateArr本文档来自技高网...

【技术保护点】
1.一种分布式存储方法,应用于分布式存储网络的网络节点,其特征在于,所述方法包括:/n接收指定数据的存储请求;/n根据预设存储周期建立时间窗口数组;/n从所述时间窗口数组中确定所述指定数据对应的时间窗口,将所述指定数据的存储任务插入确定的时间窗口;/n按照所述预设存储周期和所述确定的时间窗口执行所述指定数据的存储任务,从所述分布式存储网络中确定目标节点,将所述指定数据存储到所述目标节点。/n

【技术特征摘要】
1.一种分布式存储方法,应用于分布式存储网络的网络节点,其特征在于,所述方法包括:
接收指定数据的存储请求;
根据预设存储周期建立时间窗口数组;
从所述时间窗口数组中确定所述指定数据对应的时间窗口,将所述指定数据的存储任务插入确定的时间窗口;
按照所述预设存储周期和所述确定的时间窗口执行所述指定数据的存储任务,从所述分布式存储网络中确定目标节点,将所述指定数据存储到所述目标节点。


2.如权利要求1所述的方法,其特征在于,所述从所述时间窗口数组中确定所述指定数据对应的时间窗口包括:
从所述时间窗口数组中确定起始时间窗口;
从所述起始时间窗口开始选择一个时间窗口,判断选择的时间窗口的存储任务是否满足预设条件;
若选择的时间窗口的存储任务满足预设条件,则将所述指定数据的存储任务加入所述选择的时间窗口。


3.如权利要求1所述的方法,其特征在于,所述判断选择的时间窗口的存储任务是否满足预设条件包括:
判断所述选择的时间窗口的存储任务数或加权存储任务数是否小于所述时间窗口数组的平均存储任务数与预设常数之和。


4.如权利要求1所述的方法,其特征在于,所述从所述时间窗口数组中确定起始时间窗口包括:
计算所述网络节点的当前时间与预设初始时间的时间差秒数;
用所述时间差秒数对所述时间窗口数组的长度取模,得到所述起始时间窗口在所述时间窗口数组中的位置。


5.如权利要求1所述的方法,其特征在于,所述从所述分布式存储网络中确定目标节点包括:
根据所述分布式存储网络的各个网络节点的节点ID与所述指定数据的标识信息计算所述各个网络节点与所述指定数据的距离;
将与所述指定数据的距离最小的...

【专利技术属性】
技术研发人员:张兴伟
申请(专利权)人:深圳市网心科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1